1726 Arbeiten
Das Paper stellt DiSCTT vor, einen konsensgesteuerten Selbst-Lehrplan-Ansatz für die Testzeit-Adaption von Large Language Models, der durch die dynamische Zuweisung von Optimierungsstrategien basierend auf der Unsicherheit einzelner Instanzen die Effizienz und Stabilität beim Lösen von Reasoning-Aufgaben deutlich verbessert.
Die Arbeit stellt Progressive Residual Warmup (ProRes) vor, eine Methode, die durch ein schrittweises „Warmup" der Residuen in tieferen Schichten die Stabilität und Konvergenzgeschwindigkeit beim Vortraining von Sprachmodellen verbessert und zu besserer Generalisierung sowie Downstream-Leistung führt.
Diese Studie zeigt, dass durch rationale Feinabstimmung und Chain-of-Thought-Verfahren kleine Sprachmodelle mit weniger als 4 Milliarden Parametern die Wortbedeutungsdisambiguierung ebenso effektiv bewältigen können wie große Modelle, dabei jedoch erheblich weniger Rechenleistung und Energie verbrauchen.
Die Studie zeigt, dass KI-Modelle eingefügte Repräsentationen durch zwei getrennte Mechanismen erkennen: eine inhaltsunabhängige direkte Zugriffsweise auf interne Zustände und eine Inferenz basierend auf Wahrscheinlichkeitsanpassungen, wobei sie bei der Identifizierung des semantischen Inhalts oft scheitern.
Diese Arbeit stellt ein einheitliches Framework vor, das mithilfe eines byte-level Sequential-Monte-Carlo-Algorithmus mehrere Sprachmodelle zu -Ensembles kombiniert, um Verzerrungen bei der Stichprobenziehung zu vermeiden und die Leistung bei strukturierten Textgenerierungsaufgaben zu verbessern.
Die Studie stellt das verteilte Puzzle mit partiellen Informationen (DPIP) als neue multimodale Datensatz und Aufgabe vor, um die Konstruktion gemeinsamen Wissens unter epistemischer Asymmetrie zu untersuchen, und zeigt, dass sowohl moderne Large Language Models als auch ein axiomatischer Ansatz der dynamischen epistemischen Logik Schwierigkeiten haben, den Glaubenszustand und den Fortschritt in solchen kollaborativen Szenarien präzise zu verfolgen.
Dieses Paper stellt FlashAttention-4 vor, eine neuartige Implementierung für Blackwell-GPUs, die durch algorithmische und Kernel-Pipelining-Optimierungen zur Bewältigung asymmetrischer Hardware-Skalierung sowie durch die vollständige Implementierung in CuTe-DSL eine bis zu 2,7-fache Beschleunigung und deutlich schnellere Kompilierungszeiten erreicht.
Die Arbeit stellt das DEBISS-Korpus vor, eine Sammlung von gesprochenen und individuellen Debatten mit halbstrukturierten Merkmalen, die durch umfangreiche NLP-Annotationen wie Spracherkennung, Sprecherdiarisierung, Argumentmining und Debattantenbewertung ergänzt wird, um die Lücke im Bereich der Debattenkorpora zu schließen.
Die Studie stellt NCTB-QA vor, einen großen, ausgewogenen Datensatz für Bangla-Fragenbeantwortung mit vielen unbeantwortbaren Fragen aus Schulbüchern, und zeigt, dass das Feinabstimmen von Transformer-Modellen die Leistung in diesem ressourcenarmen Bereich erheblich verbessert.
Die Studie stellt INTRA vor, eine Methode, die parametrisches Wissen von Large Language Models durch die Analyse interner Repräsentationen nutzt, um faktische Behauptungen ohne externe Retrieval-Systeme zuverlässig zu überprüfen und dabei robuste Generalisierung über verschiedene Sprachen, Quellen und Wissensbereiche hinweg zu erreichen.
Die Studie zeigt, dass Aktivierungsproben die interne Gewissheit von Reasoning-Modellen bereits frühzeitig erkennen können, bevor diese ihre Schlussfolgerungen offenbaren, und ermöglicht so eine effiziente Reduzierung der Token-Ausgabe durch adaptive Berechnung, während echte Unsicherheit und „Reasoning Theater" unterschieden werden.
Diese Studie nutzt zensierte chinesische Open-Weight-LLMs als Testumgebung, um Techniken zur Förderung von Ehrlichkeit und zur Erkennung von Lügen zu evaluieren, wobei sich zwar einige Methoden als wirksam erweisen, keine jedoch falsche Antworten vollständig eliminieren kann.
Die Studie zeigt, dass massive Aktivierungen und Attention Sinks in Transformer-Modellen zwar häufig gemeinsam auftreten, jedoch durch die Pre-Norm-Architektur bedingt sind und unterschiedliche Funktionen erfüllen, wobei erstere als globale implizite Parameter und letztere als lokale Modulatoren der Aufmerksamkeit wirken.
Der Artikel stellt POET-X vor, eine speichereffiziente und skalierbare Variante des POET-Frameworks, die durch optimierte orthogonale Transformationen die Stabilität beim Training großer Sprachmodelle beibehält und deren Vorverarbeitung auf einer einzigen GPU ermöglicht, wo herkömmliche Optimierer wie AdamW an Speicherproblemen scheitern.
Diese Arbeit stellt eine neue Methode für die offene Vokabular-Tarnobjekt-Instanzsegmentierung vor, die Diffusionsmodelle nutzt, um durch die Fusion von visuellen und textuellen Merkmalen getarnte Objekte auch in unbekannten Klassen präzise zu segmentieren.
Die RAEE-Framework-Methode verbessert die effiziente Inferenz von Large Language Models, indem sie den Early-Exit-Prozess durch den Einsatz eines Retrieval-Augmented-Ansatzes optimiert, der Exit-Informationen ähnlicher Daten nutzt, um sowohl die Rechengeschwindigkeit zu erhöhen als auch die Leistung in Zero-Shot-Szenarien zu steigern.
Die vorgestellte Forschung entwickelt ein innovatives System, das Large Language Models mit dem ANU Scholarly Knowledge Graph und einem Deep Document Model kombiniert, um semantische Abfragen zu wissenschaftlichen Arbeiten der Informatik an der ANU präziser und effizienter zu verarbeiten.
Diese Studie untersucht, wie Sprachmodelle die syntaktischen Einschränkungen der englischen Passivbildung erlernen, indem sie durch Manipulation der Trainingsdaten nachweisen, dass sowohl die Häufigkeit der Verben (Einschleifung) als auch ihre semantischen Eigenschaften (Betroffenheit) unabhängig voneinander zur Lernleistung beitragen.
Die Arbeit stellt LMUnit vor, ein neues Paradigma zur feinkörnigen Bewertung von Sprachmodellen durch natürliche Sprachtests und ein einheitliches Bewertungsmodell, das die menschliche Einigkeit verbessert und State-of-the-Art-Ergebnisse auf Evaluierungsbenchmarks erzielt.
Diese Arbeit identifiziert und untersucht „Preference Leakage", ein Kontaminationsproblem bei der Verwendung von LLMs als Richter, das durch die Verwandtschaft zwischen Daten-Generatoren und Bewertungsmodellen entsteht und zu einer systematischen Verzerrung führt, die schwerer zu erkennen ist als bisher bekannte Bias-Phänomene.