1066 Arbeiten
Die Arbeit stellt EC-Net vor, ein hyperbolisches Hypergraph-Framework, das durch die Modellierung von Modalitätshierarchien in Poincaré-Kugel-Einbettungen und bidirektionale Hypergraph-Nachrichtenübertragung robuste und genaue multimodale Emotionserkennung auch bei verrauschten oder unvollständigen Daten ermöglicht.
Die Arbeit stellt ModalImmune vor, ein Trainingsframework, das durch gezieltes, kontrolliertes Zusammenbrechen ausgewählter Modalitäten während des Trainings robuste multimodale Repräsentationen erzeugt, um die Zuverlässigkeit von Systemen bei Ausfall oder Korruption von Eingabekanälen zu gewährleisten.
Die Autoren stellen mit CondMedQA den ersten Benchmark für kontextabhängige biomedizinische Fragen vor und entwickeln das Condition-Gated Reasoning (CGR)-Framework, das durch bedingungsbasierte Pfadsteuerung in Wissensgraphen zuverlässigere medizinische Schlussfolgerungen ermöglicht.
Die Autoren stellen MrBERT vor, eine Familie effizienter multilingualer Encoder auf ModernBERT-Basis, die durch gezielte Anpassung an 35 Sprachen sowie spezialisierte Domänen und die Integration von Matryoshka-Repräsentationslernen sowohl state-of-the-art-Leistung als auch kosteneffiziente Inferenz ermöglicht.
Die Arbeit stellt CeRA vor, eine neue Methode zur parametereffizienten Feinabstimmung, die durch Manifold-Expansion die linearen Grenzen von LoRA bei komplexen Aufgaben wie mathematischem Schlussfolgern überwindet und dabei bei deutlich niedrigerem Rang eine überlegene Leistung erzielt.
Das Paper stellt KVSlimmer vor, einen theoretisch fundierten und gradientenfreien Algorithmus zur effizienten Komprimierung von KV-Caches in großen Sprachmodellen, der durch eine geschlossene Formel die Hessian-Informationen exakt erfasst und dabei sowohl die Speicher- als auch die Latenzkosten signifikant senkt, ohne die Leistung einzubüßen.
Die Studie zeigt, dass eine konforme Vorhersage durch domänenspezifische Kalibrierung trotz unterschiedlicher Fehlkalibrierungstendenzen in strukturierten FDA-Texten und freien Radiologieberichten zuverlässige Abdeckungsgarantien für die Extraktion medizinischer Entitäten mittels großer Sprachmodelle ermöglicht.
Die Arbeit stellt CyclicJudge vor, eine effiziente Round-Robin-Strategie zur Eliminierung systematischer Urteilsverzerrungen bei LLM-Evaluierungen, die ohne zusätzliche Kosten zuverlässigere Rankings ermöglicht.
Das Paper stellt PrivMedChat vor, ein End-to-End-Framework für differenziell privates RLHF, das medizinische Dialogsysteme durch den Einsatz von DP-SGD und einer annotierungsfreien Präferenzkonstruktionsstrategie sicher und datenschutzkonform anpasst.
Die Studie zeigt, dass die Methode CDD zur Erkennung von Datenkontamination in kleinen Sprachmodellen (70M–410M Parameter) in den meisten getesteten Szenarien nur zufällige Ergebnisse liefert und dabei von etablierten Wahrscheinlichkeitsmethoden wie Perplexity und Min-k% Prob übertroffen wird, da ihre Wirksamkeit kritisch von der Entstehung wortwörtlicher Memorierung abhängt.
Das Paper stellt vLLM Hook vor, ein Open-Source-Plug-in für vLLM, das durch passive und aktive Programmierung den Zugriff auf interne Modellzustände ermöglicht, um Anwendungen wie die Erkennung von Prompt-Injection, die Verbesserung von RAG und das Aktivitäts-Steering zu unterstützen.
Dieser technische Bericht stellt ein transformerbasiertes System vor, das durch die Kombination von Sequenzmodellierung, gruppenbasierten Augmentierungen, Testzeit-Training mit LoRA und symmetriebewusstem Decodieren die Leistung beim ARC-AGI-2-Problem signifikant verbessert und sich menschlicher Generalisierung annähert.
Diese Arbeit identifiziert den „P0 Sink Circuit" als einen semantikunabhängigen Mechanismus in den ersten beiden Transformer-Blöcken, der die Entstehung von Attention Sinks am ersten Eingabetoken erklärt und als Indikator für den Konvergenzstatus während des Pretrainings dienen kann.
Diese Arbeit zeigt, dass hierarchische Strukturen im Datengenerierungsprozess, modelliert durch probabilistische kontextfreie Grammatiken, als entscheidender Faktor die Entstehung scheinbar unabhängiger mechanistischer Phänomene in Sprachmodellen einheitlich erklären.
Die vorgestellte Arbeit führt Hierarchical Embedding Fusion (HEF) ein, eine zweistufige Methode zur komprimierten Repräsentation von Code-Repositories, die durch den Ersatz tausender Suchergebnisse durch feste Pseudo-Token die Latenz bei der retrievalgestützten Codegenerierung drastisch senkt, ohne dabei die Genauigkeit zu beeinträchtigen.
Die Studie zeigt, dass LLM-basierte Richter bei der Bewertung der adversären Robustheit von KI-Modellen aufgrund von Verteilungsverschiebungen oft nur zufällige Ergebnisse liefern und viele Angriffe deren Schwächen ausnutzen, weshalb die Autoren mit ReliableBench und JudgeStressTest neue, zuverlässigere Evaluierungsstandards vorschlagen.
Die Arbeit stellt PerContrast und den darauf aufbauenden PerCE-Verlust vor, eine token-level-basierte Methode zur adaptiven Gewichtung von benutzerspezifischen Informationen während des Trainings, die die Personalisierung von Large Language Models signifikant verbessert.
Diese Arbeit stellt einen normalisierten Konfidenzscore vor, der Fehler in Large Language Models zuverlässig erkennt, zeigt, dass Reinforcement-Learning-Methoden zu übermäßigem Selbstvertrauen führen, und schlägt eine Nachschulung mit Selbst-Distillation vor, um die Kalibrierung wiederherzustellen und die Effizienz von Retrieval-Augmented Generation zu steigern.
Das Paper stellt GraphSkill vor, ein hierarchisches Retrieval-Augmented-Coding-Framework mit einem selbst-debuggenden Agenten, das durch die Ausnutzung der Dokumentenhierarchie und die Generierung von Testfällen die Genauigkeit und Kosteneffizienz bei komplexen Graphen-Reasoning-Aufgaben verbessert.
Die Arbeit stellt SR-TTT vor, eine Methode, die Test-Time-Training-Modelle durch eine verlustgesteuerte, sparse Speichermechanik verbessert, die nur hoch überraschende Tokens in einen exakten Attention-Cache leitet, um so die katastrophalen Erinnerungsfehler bei der genauen Wiederholung von Informationen zu beheben, während der O(1)-Speicherbedarf für den Kontext erhalten bleibt.