1111 Arbeiten
Das Paper stellt SarcasmMiner vor, ein auf Bestärkendem Lernen basierendes Nachtrainierungsframework, das durch eine Dual-Track-Destillationsstrategie und ein generatives Belohnungsmodell die robuste multimodale Sarkasmuserkennung verbessert und die F1-Leistung auf dem MUStARD++-Datensatz signifikant steigert.
Diese Arbeit stellt den ersten formalen Zusammenhang zwischen KI-Debatte und RLAIF her, indem sie den Vorteil von Debatten durch die geometrische Divergenz des Wissens zwischen Modellen quantifiziert und zeigt, dass Debatten bei komplementärem Wissen entscheidend sind, während sie bei identischem Training auf RLAIF reduziert werden.
Die Arbeit stellt WavSLM vor, ein einfaches, single-stream Sprachmodell, das durch Quantisierung und Distillation von WavLM-Repräsentationen semantische und akustische Informationen ohne Textsupervision in einem einzigen Token-Stream modelliert und dabei wettbewerbsfähige Ergebnisse bei geringerer Komplexität erzielt.
Das Paper stellt Med-V1 vor, eine Familie effizienter Small Language Models mit nur drei Milliarden Parametern, die durch Training auf hochwertigen synthetischen Daten in der biomedizinischen Evidenzattribution und Halluzinationserkennung die Leistung von teuren Frontier-Modellen wie GPT-5 erreichen und dabei skalierbare Anwendungen für die klinische Praxis ermöglichen.
Die Autoren stellen den großen Datensatz „PersianPunc" und einen effizienten, auf ParsBERT basierenden Ansatz vor, der mit einer F1-Bewertung von 91,33 % eine präzise und ressourcenschonende Wiederherstellung von Satzzeichen im Persischen ermöglicht und dabei die Nachteile größerer Sprachmodelle vermeidet.
Dieses Paper stellt ein mehrsprachiges, von Menschen annotiertes Korpus mit Originaltexten und vereinfachten Easy-to-Read-Versionen für Spanisch, Katalanisch und Italienisch vor, um die automatische Textvereinfachung zu unterstützen und den Zugang zu demokratischen Partizipationsprozessen zu fördern.
Diese Arbeit untersucht die Eignung von Modell-Merging für die Mehrdomänen-Anpassung in der automatischen Spracherkennung, stellt mit BoostedTSV-M einen neuen Algorithmus vor, der die numerische Stabilität verbessert, und zeigt, dass dieser Ansatz die Leistung einer vollständigen Feinabstimmung für europäisches Portugiesisch übertrifft, während die Generalisierungsfähigkeit erhalten bleibt.
Das Paper stellt DiSCTT vor, einen konsensgesteuerten Selbst-Lehrplan-Ansatz für die Testzeit-Adaption von Large Language Models, der durch die dynamische Zuweisung von Optimierungsstrategien basierend auf der Unsicherheit einzelner Instanzen die Effizienz und Stabilität beim Lösen von Reasoning-Aufgaben deutlich verbessert.
Die Arbeit stellt Progressive Residual Warmup (ProRes) vor, eine Methode, die durch ein schrittweises „Warmup" der Residuen in tieferen Schichten die Stabilität und Konvergenzgeschwindigkeit beim Vortraining von Sprachmodellen verbessert und zu besserer Generalisierung sowie Downstream-Leistung führt.
Diese Studie zeigt, dass durch rationale Feinabstimmung und Chain-of-Thought-Verfahren kleine Sprachmodelle mit weniger als 4 Milliarden Parametern die Wortbedeutungsdisambiguierung ebenso effektiv bewältigen können wie große Modelle, dabei jedoch erheblich weniger Rechenleistung und Energie verbrauchen.
Die Studie zeigt, dass KI-Modelle eingefügte Repräsentationen durch zwei getrennte Mechanismen erkennen: eine inhaltsunabhängige direkte Zugriffsweise auf interne Zustände und eine Inferenz basierend auf Wahrscheinlichkeitsanpassungen, wobei sie bei der Identifizierung des semantischen Inhalts oft scheitern.
Diese Arbeit stellt ein einheitliches Framework vor, das mithilfe eines byte-level Sequential-Monte-Carlo-Algorithmus mehrere Sprachmodelle zu -Ensembles kombiniert, um Verzerrungen bei der Stichprobenziehung zu vermeiden und die Leistung bei strukturierten Textgenerierungsaufgaben zu verbessern.
Die Studie stellt das verteilte Puzzle mit partiellen Informationen (DPIP) als neue multimodale Datensatz und Aufgabe vor, um die Konstruktion gemeinsamen Wissens unter epistemischer Asymmetrie zu untersuchen, und zeigt, dass sowohl moderne Large Language Models als auch ein axiomatischer Ansatz der dynamischen epistemischen Logik Schwierigkeiten haben, den Glaubenszustand und den Fortschritt in solchen kollaborativen Szenarien präzise zu verfolgen.
Dieses Paper stellt FlashAttention-4 vor, eine neuartige Implementierung für Blackwell-GPUs, die durch algorithmische und Kernel-Pipelining-Optimierungen zur Bewältigung asymmetrischer Hardware-Skalierung sowie durch die vollständige Implementierung in CuTe-DSL eine bis zu 2,7-fache Beschleunigung und deutlich schnellere Kompilierungszeiten erreicht.
Die Arbeit stellt das DEBISS-Korpus vor, eine Sammlung von gesprochenen und individuellen Debatten mit halbstrukturierten Merkmalen, die durch umfangreiche NLP-Annotationen wie Spracherkennung, Sprecherdiarisierung, Argumentmining und Debattantenbewertung ergänzt wird, um die Lücke im Bereich der Debattenkorpora zu schließen.
Die Studie stellt NCTB-QA vor, einen großen, ausgewogenen Datensatz für Bangla-Fragenbeantwortung mit vielen unbeantwortbaren Fragen aus Schulbüchern, und zeigt, dass das Feinabstimmen von Transformer-Modellen die Leistung in diesem ressourcenarmen Bereich erheblich verbessert.
Die Studie stellt INTRA vor, eine Methode, die parametrisches Wissen von Large Language Models durch die Analyse interner Repräsentationen nutzt, um faktische Behauptungen ohne externe Retrieval-Systeme zuverlässig zu überprüfen und dabei robuste Generalisierung über verschiedene Sprachen, Quellen und Wissensbereiche hinweg zu erreichen.
Die Studie zeigt, dass Aktivierungsproben die interne Gewissheit von Reasoning-Modellen bereits frühzeitig erkennen können, bevor diese ihre Schlussfolgerungen offenbaren, und ermöglicht so eine effiziente Reduzierung der Token-Ausgabe durch adaptive Berechnung, während echte Unsicherheit und „Reasoning Theater" unterschieden werden.
Diese Studie nutzt zensierte chinesische Open-Weight-LLMs als Testumgebung, um Techniken zur Förderung von Ehrlichkeit und zur Erkennung von Lügen zu evaluieren, wobei sich zwar einige Methoden als wirksam erweisen, keine jedoch falsche Antworten vollständig eliminieren kann.
Die Studie zeigt, dass massive Aktivierungen und Attention Sinks in Transformer-Modellen zwar häufig gemeinsam auftreten, jedoch durch die Pre-Norm-Architektur bedingt sind und unterschiedliche Funktionen erfüllen, wobei erstere als globale implizite Parameter und letztere als lokale Modulatoren der Aufmerksamkeit wirken.