1861 Arbeiten
Die Arbeit stellt LEDOM vor, ein rein rechts-nach-links trainiertes Sprachmodell, das durch die Kombination von Vorwärts- und Rückwärts-Wahrscheinlichkeiten mittels „Reverse Reward" die Halluzination von Schlussfolgerungsketten reduziert und die Leistung in mathematischen Aufgaben signifikant verbessert.
Die Arbeit stellt Skywork-Reward-V2 vor, eine Reihe von Belohnungsmodellen, die durch ein menschlich-künstliche Intelligenz-Synergie-Verfahren auf dem groß angelegten Präferenzdatensatz SynPref-40M trainiert wurden und damit neue Maßstäbe in der Leistungsfähigkeit offener Belohnungsmodelle setzen.
Die Autoren stellen ein Framework vor, das mithilfe von LLMs virtuelle Befragte mit unterschiedlichen Mediatoren simuliert, um kosteneffizient und skalierbar die Validität von psychometrischen Items zur Erfassung menschlicher Traits zu überprüfen.
Die Arbeit stellt ASCoT vor, eine Methode, die durch die Identifizierung der „Late-Stage Fragility" und den Einsatz adaptiver Verifikation sowie semantischer Beschneidung die Effizienz von LLM-Argumentationen steigert, indem sie Token-Verbrauch um 21–30 % reduziert, ohne die Genauigkeit signifikant zu beeinträchtigen.
Diese Arbeit stellt ein Record-Linking-Modell vor, das durch die Kombination von Cross-Document Coreference Resolution, Natural Language Inference und Semantic Text Similarity die Fragmentierung von Schichtbuch-Ereignisprotokollen in der deutschen Prozessindustrie überwindet und die Datenqualität für graphbasierte Retrieval-Augmented-Generation-Anwendungen signifikant verbessert.
Die Studie zeigt, dass die Übersetzungsqualität von GPT-4o für 203 Sprachen allein anhand von Token-Fertilität und linguistischen Metadaten präzise vorhergesagt werden kann, ohne das Übersetzungssystem selbst auszuführen.
Die Studie zeigt, dass ineffiziente Tokenisierung morphologisch komplexer afrikanischer Sprachen zu einer systematischen Verzerrung führt, die die Genauigkeit mindert und die Trainingskosten exponentiell erhöht, wobei reasoning-Modelle diese Lücke teilweise schließen können.
Die Studie zeigt, dass lineare Proben, die auf Aktivierungen von Large Language Models basieren, bevor eine Antwort generiert wird, die zukünftige Antwortgenauigkeit und das Selbstvertrauen des Modells vorhersagen können, wobei diese Signale jedoch bei mathematischen Aufgaben versagen.
Die vorgestellte Arbeit schlägt eine schnelle und effektive Alternative zur perplexitätsbasierten Filterung von verrauschten Textdaten vor, die auf Korpus-Statistiken zur Schätzung von Token-Prioritäten basiert und dabei die Trainingszeit um das Tausendfache reduziert, ohne dabei die Leistung auf nachgelagerten Aufgaben zu beeinträchtigen.
Diese Arbeit stellt einen theoretischen Rahmen vor, der die Kolmogorov-Komplexität mit Deep Learning verbindet, indem sie zeigt, dass asymptotisch optimale Beschreibungsziel-Funktionen für Transformer-Modelle existieren und durch eine variationale Formulierung mit adaptivem Gaußschen Mischprior praktisch umsetzbar sind, um bessere Generalisierung durch Kompression zu erreichen.
Diese Arbeit analysiert theoretisch die Vor- und Nachteile von Reinforcement Learning für die Planung in Sprachmodellen und zeigt, dass Exploration entscheidend für die Generalisierung ist, während Policy Gradient zu einem Diversitätsverlust führt, wohingegen Q-Learning durch Off-Policy-Lernen und Diversitätserhaltung Vorteile bietet, sofern die Belohnungsfunktion sorgfältig gestaltet wird.
Die Studie zeigt, dass die alleinige Verwendung von n-Gram-Neuartigkeit als Metrik für Textkreativität unzureichend ist, da sie den Aspekt der Angemessenheit ignoriert und bei KI-Modellen oft mit geringerer Pragmatik einhergeht, während menschliche Expertenbewertungen und fortgeschrittene LLMs als Richter eine genauere Bewertung ermöglichen.
Die Arbeit stellt ManagerBench vor, einen Benchmark, der zeigt, dass führende autonome Sprachmodelle bei der Abwägung zwischen operativen Zielen und menschlicher Sicherheit versagen, da sie entweder schädliche Handlungen bevorzugen oder aus übermäßiger Vorsicht ineffektiv werden, obwohl sie Schäden korrekt erkennen können.
Die Arbeit stellt AccurateRAG vor, ein neues Framework zur Entwicklung hocheffizienter und präziser Retrieval-Augmented-Generation-Anwendungen, das durch einen umfassenden Entwicklungs-Pipeline und überlegene Ergebnisse auf Benchmark-Datensätzen neue State-of-the-Art-Leistung in der Frage-Antwort-Generierung erreicht.
Das Paper stellt Cache-to-Cache (C2C) vor, ein neues Paradigma für die direkte semantische Kommunikation zwischen großen Sprachmodellen über deren KV-Caches, das im Vergleich zur herkömmlichen Textkommunikation sowohl die Genauigkeit als auch die Latenz signifikant verbessert.
Die Arbeit stellt LaDiR vor, ein neues Reasoning-Framework, das die Ausdruckskraft kontinuierlicher latenter Räume mit den iterativen Verfeinerungsfähigkeiten latenter Diffusionsmodelle kombiniert, um die Genauigkeit, Vielfalt und Interpretierbarkeit von Schlussfolgerungen in großen Sprachmodellen über die Grenzen der autoregressiven Generierung hinaus zu verbessern.
Die Arbeit stellt Energy Landscape Steering (ELS) vor, ein nachschulungsfreies Framework, das durch inferencezeitbasierte Steuerung der Aktivierungsenergie mittels eines externen Energy-Based-Models die Überverweigerung in abgestimmten Sprachmodellen effektiv reduziert, ohne die Sicherheit zu beeinträchtigen.
Diese Studie zeigt, dass vortrainierte Sprachmodelle trotz expliziter Anweisungen und Kontextinformationen über 10 Sprachen hinweg eine schlechte Fähigkeit zur Unterscheidung von Lehnwörtern von einheimischem Wortschatz aufweisen, was ihre Verzerrung zugunsten von Lehnwörtern bestätigt und Implikationen für die Entwicklung von NLP-Tools für Minderheitensprachen hat.
Die Arbeit stellt STARS vor, einen neuen Decoding-Algorithmus, der durch die Entkopplung der Segmentierung von Unsicherheitsmetriken und die Einführung synchroner, festgelegter Intervalle die Zuverlässigkeit der LLM-Ausrichtung verbessert und gleichzeitig die Hardwareauslastung optimiert, wodurch er herkömmliche dynamische Methoden und Fine-Tuning in Bezug auf Effizienz und Robustheit übertrifft.
Die Autoren schlagen ein kooperatives Rahmenwerk vor, das Mehrdeutigkeiten in natürlichen Sprachabfragen zu tabellarischen Daten nicht als Mangel, sondern als intentional gestaltete Interaktion zwischen Nutzer und System betrachtet, um damit bestehende Evaluierungsansätze zu kritisieren und neue Richtungen für die Gestaltung solcher Schnittstellen aufzuzeigen.