1726 Arbeiten
Die Studie zeigt, dass Decoder-Schichten in SpeechLLMs eine hohe Redundanz aufweisen, die von den zugrunde liegenden Text-LLMs geerbt wird, sodass bis zu 40 % dieser Schichten entfernt werden können, ohne die Leistung bei Spracherkennung und -übersetzung signifikant zu beeinträchtigen.
Die Autoren stellen LBM vor, ein hierarchisches Großmodell für das automatische Bieten, das durch die Kombination eines reasoning-basierten LLM-Think-Moduls und eines sprachgesteuerten LLM-Act-Moduls mit einer neuartigen GQPO-Feinabstimmung die Nachvollziehbarkeit und Generalisierungsfähigkeit von Bietstrategien in dynamischen Online-Werbemärkten verbessert.
Die Arbeit zeigt theoretisch und experimentell, dass Analogieschluss in Transformern durch das Erlernen einer gemeinsamen Repräsentationsgeometrie für ähnliche Entitäten ermöglicht wird, wobei eine sequenzielle Trainingsreihenfolge von Ähnlichkeits- zu Attributwissen sowie das explizite Vorhandensein von Identitätsbrücken für mehrstufiges Schlussfolgern entscheidend sind.
Die Studie stellt C2-Faith vor, einen Benchmark zur Bewertung der Zuverlässigkeit von LLM-Richtern bei der Erkennung kausaler Fehler und der Vollständigkeit von Chain-of-Thought-Argumentationen, und zeigt dabei auf, dass keine einzelne Richterkonfiguration alle Aufgaben gleichermaßen meistert und erhebliche Lücken zwischen der Fehlererkennung und deren Lokalisierung bestehen.
Der Artikel stellt Sparse-BitNet vor, ein Framework, das 1,58-Bit-Quantisierung und semi-strukturierte N:M-Sparsity kombiniert und zeigt, dass diese Kombination im Vergleich zu vollpräzisen Modellen eine höhere Kompatibilität aufweist, geringere Leistungsverluste bei Sparsität ermöglicht und durch benutzerdefinierte Tensor-Kerne sowohl beim Training als auch beim Inferieren signifikante Beschleunigungen erzielt.
Diese Richtlinie stellt ein systematisches Rahmenwerk zur Annotation und Visualisierung der Argumentationsstruktur in chinesischen Gerichtsentscheidungen bereit, das auf einer Unterscheidung von vier Propositionstypen und fünf Relationstypen basiert, um eine konsistente Datengrundlage für die computergestützte Analyse juristischer Argumentation zu schaffen.
Diese Arbeit stellt ein Framework vor, das deterministische endliche Transduktoren nutzt, um vortrainierte Sprachmodelle ohne Parameteranpassung durch Marginalisierung über Quellstrings in neue Modelle mit angepassten Ausgabeformaten zu transformieren.
Die Studie zeigt, dass Diffusions-LLMs ihre End-of-Sequence-Tokens als versteckten Scratchpad nutzen, um komplexe reasoning-Aufgaben durch schrittweises „Denken" zu lösen, was durch Experimente und kausale Eingriffe bestätigt wird.
Die Autoren stellen einen effizienten Rahmen vor, der mittels eines Teacher-Student-Ansatzes und eines Kernel-Alignment-Ziels die Semantik von Signal-Temporal-Logik in invertierbare neuronale Embeddings überführt, wodurch die rechenintensive symbolische Kernel-Berechnung bei gleichzeitiger Erhaltung der semantischen Struktur und Robustheitsvorhersage ersetzt wird.
Die vorgestellte Arbeit schlägt vor, die in GraphRAG übliche Leiden-Clustering-Methode durch eine deterministische und effiziente k-Core-Zerlegung zu ersetzen, um auf spärlichen Wissensgraphen reproduzierbare Hierarchien zu erzeugen, die die Antwortqualität verbessern und gleichzeitig die Token-Kosten senken.
Die vorgestellte Arbeit optimiert die Effizienz des spekulativen Dekodierens bei Large Language Models, indem sie die Vokabulargröße von Draft-Modellen durch ein constrained-Optimierungsverfahren reduziert, das eine Balance zwischen der Abdeckung notwendiger Token und der Latenz herstellt, was insbesondere bei domänenspezifischen Aufgaben zu signifikanten Geschwindigkeitssteigerungen führt.
Das Paper stellt VietJobs vor, das erste groß angelegte, öffentlich zugängliche Korpus vietnamesischer Stellenanzeigen mit über 48.000 Einträgen, das als Benchmark für NLP-Forschung und Arbeitsmarktanalysen dient und die Leistung verschiedener Large Language Models bei Aufgaben wie Klassifizierung und Gehaltsschätzung evaluiert.
Die Studie stellt das „Multilingual Cloud Corpus" vor, das erste national skalige, parallele und multimodale linguistische Datenset für Bangladeschs überwiegend mündliche und computergestützt „ressourcenarme" Minderheitensprachen, das durch systematische Feldforschung 107 Stunden Audioaufnahmen sowie strukturierte Textdaten für 42 Sprachvarietäten aus vier Sprachfamilien umfasst und somit die Dokumentation bedrohter Sprachen sowie die Entwicklung von Low-Resource-NLP-Anwendungen ermöglicht.
Das Paper stellt SarcasmMiner vor, ein auf Bestärkendem Lernen basierendes Nachtrainierungsframework, das durch eine Dual-Track-Destillationsstrategie und ein generatives Belohnungsmodell die robuste multimodale Sarkasmuserkennung verbessert und die F1-Leistung auf dem MUStARD++-Datensatz signifikant steigert.
Diese Arbeit stellt den ersten formalen Zusammenhang zwischen KI-Debatte und RLAIF her, indem sie den Vorteil von Debatten durch die geometrische Divergenz des Wissens zwischen Modellen quantifiziert und zeigt, dass Debatten bei komplementärem Wissen entscheidend sind, während sie bei identischem Training auf RLAIF reduziert werden.
Die Arbeit stellt WavSLM vor, ein einfaches, single-stream Sprachmodell, das durch Quantisierung und Distillation von WavLM-Repräsentationen semantische und akustische Informationen ohne Textsupervision in einem einzigen Token-Stream modelliert und dabei wettbewerbsfähige Ergebnisse bei geringerer Komplexität erzielt.
Das Paper stellt Med-V1 vor, eine Familie effizienter Small Language Models mit nur drei Milliarden Parametern, die durch Training auf hochwertigen synthetischen Daten in der biomedizinischen Evidenzattribution und Halluzinationserkennung die Leistung von teuren Frontier-Modellen wie GPT-5 erreichen und dabei skalierbare Anwendungen für die klinische Praxis ermöglichen.
Die Autoren stellen den großen Datensatz „PersianPunc" und einen effizienten, auf ParsBERT basierenden Ansatz vor, der mit einer F1-Bewertung von 91,33 % eine präzise und ressourcenschonende Wiederherstellung von Satzzeichen im Persischen ermöglicht und dabei die Nachteile größerer Sprachmodelle vermeidet.
Dieses Paper stellt ein mehrsprachiges, von Menschen annotiertes Korpus mit Originaltexten und vereinfachten Easy-to-Read-Versionen für Spanisch, Katalanisch und Italienisch vor, um die automatische Textvereinfachung zu unterstützen und den Zugang zu demokratischen Partizipationsprozessen zu fördern.
Diese Arbeit untersucht die Eignung von Modell-Merging für die Mehrdomänen-Anpassung in der automatischen Spracherkennung, stellt mit BoostedTSV-M einen neuen Algorithmus vor, der die numerische Stabilität verbessert, und zeigt, dass dieser Ansatz die Leistung einer vollständigen Feinabstimmung für europäisches Portugiesisch übertrifft, während die Generalisierungsfähigkeit erhalten bleibt.