1065 Arbeiten
Das Papier stellt CAWAI vor, ein Retrieval-Modell, das durch das gleichzeitige Lernen semantischer und kausaler Zusammenhänge die Genauigkeit von Informationsabrufsystemen in wissensintensiven Domänen wie Biomedizin und Recht verbessert.
Die Studie zeigt, dass die Kombination von Large Language Models zur Extraktion linguistischer und kognitiver Merkmale mit baumbasierten maschinellen Lernalgorithmen eine genauere Schätzung der Aufgabenschwierigkeit für K-5-Mathematik- und Lesetests ermöglicht als direkte LLM-Schätzungen und somit den Bedarf an aufwendigen Vorabtests reduziert.
Dieses Paper stellt Task 5 des DCASE 2025 Challenges vor, ein mehrdomäniges Benchmark für Audio-Frage-Antwort-Aufgaben, das darauf abzielt, die akustische reasoning-Fähigkeit von Audio-Sprachmodellen durch die Evaluierung in Bereichen wie Bioakustik und komplexen Klanglandschaften zu verbessern.
Der Artikel stellt FreeKV vor, ein trainingsfreies Framework zur Algorithmen-System-Optimierung, das durch spekulative Abrufverfahren und hybride Speicherkonzepte die Effizienz des KV-Cache-Retrieval für LLMs erheblich steigert, ohne dabei die Genauigkeit zu beeinträchtigen.
Die Arbeit stellt MAS-ZERO vor, ein bahnbrechendes, selbstentwickelndes Inferenzzeit-Framework, das Multi-Agenten-Systeme ohne Validierungsdatensätze automatisch anpasst und durch dynamische Problemanalyse sowie Meta-Feedback signifikant höhere Genauigkeiten bei Reasoning-, Coding- und Agentenaufgaben im Vergleich zu manuellen und bestehenden automatischen Ansätzen erzielt.
Das Paper stellt HDLxGraph vor, ein Framework, das durch die Integration von Abstract Syntax Trees und Data Flow Graphs in Retrieval-Augmented Generation die Lücken bei der Verarbeitung von Hardware-Beschreibungssprachen schließt und gleichzeitig einen neuen Benchmark namens HDLSearch einführt, um die Genauigkeit von Such-, Debugging- und Vervollständigungsaufgaben signifikant zu verbessern.
Die Arbeit stellt SwingArena vor, ein kompetitives Evaluierungsframework für Large Language Models, das reale Softwareentwicklungsworkflows durch die Paarung von Modellen als Patch-Ersteller und Prüfer in CI-Pipelines nachbildet und dabei ein retrieval-basiertes Modul zur Bewältigung langer Kontexte in großen Codebasen einsetzt.
Die Arbeit stellt MMTU vor, ein umfassendes Benchmark mit über 28.000 Fragen zu 25 realen Tabellenaufgaben, das die aktuellen Grenzen von KI-Modellen bei der Experten-Nutzung strukturierter Daten aufzeigt und als Impuls für zukünftige Fortschritte dient.
Die Arbeit stellt CyclicReflex vor, eine trainingsfreie Decodierungsstrategie, die durch die zyklische Anpassung der Wahrscheinlichkeiten für Reflexionstoken die Testzeit-Leistung von Large Reasoning Models verbessert und dabei Über- sowie Unterreflexion vermeidet.
Die vorgestellte Methode „Motivation-enhanced Reinforcement Finetuning" (MeRF) verbessert das Reinforcement Learning mit verifizierbaren Belohnungen bei großen Reasoning-Modellen, indem sie die Belohnungsfunktion als kontextuelle Motivation direkt in den Prompt integriert, um die Generierung mit dem Optimierungsziel auszurichten und so die Leistung signifikant zu steigern.
Die Arbeit identifiziert die „Agreement Bias" als zentrales Hindernis für Multimodale LLMs als Verifizierer und schlägt mit SGV eine zweistufige, selbstverankerte Methode vor, die die Fehlererkennung und Aufgabenabschlussraten in Bereichen wie Webnavigation und Robotik signifikant verbessert.
Diese Arbeit stellt das UGST-Framework vor, das durch ein dreistufiges Verfahren und neue Evaluierungsmetriken die Fähigkeit von LLM-basierten User-Simulatoren verbessert, ihre Ziele über mehrere Gesprächsdurchgänge hinweg konsistent zu verfolgen und zielgerichtete Antworten zu generieren.
Das Paper stellt MathSmith vor, ein Framework, das durch die Generierung völlig neuer, synthetischer mathematischer Probleme aus PlanetMath-Daten und deren Optimierung mittels verstärkendem Lernen die Fähigkeiten von Sprachmodellen beim Lösen extrem schwieriger mathematischer Aufgaben signifikant verbessert.
Diese Arbeit stellt IAG vor, den ersten input-orientierten Backdoor-Angriff auf visuelle Grounding-Modelle, der mithilfe eines textgesteuerten UNet dynamisch, unsichtbare Trigger erzeugt, die beliebige Zielobjekte manipulieren, ohne die normale Leistung zu beeinträchtigen.
Die Arbeit stellt OTESGN vor, ein Modell für die aspektbasierte Sentimentanalyse, das syntaktische Graphen und semantischen Optimalen Transport kombiniert, um nichtlineare Assoziationen zu erfassen und Rauschen zu unterdrücken, wodurch es auf mehreren Benchmark-Datensätzen neue State-of-the-Art-Ergebnisse erzielt.
Die Studie zeigt, dass lineare Proben zur Erkennung schädlichen Verhaltens in Sprachmodellen stark von textuellen Hinweisen abhängen und ihre Leistung erheblich einbricht, sobald diese oberflächlichen Indikatoren wie Systemprompts oder Chain-of-Thought-Verbalisierungen entfernt werden.
Die Arbeit stellt PonderLM-2 vor, eine neue Pretraining-Methode, bei der Sprachmodelle vor der Vorhersage eines Tokens latente Gedanken im kontinuierlichen Raum generieren, wodurch sie bei gleicher Inferenzkostenleistung Standardmodelle mit doppelt so vielen Parametern übertreffen.
Die Studie führt Benchmark-Signaturen ein, die auf salienten Tokens aus natürlichen Korpora basieren und durch ihre Perplexität die Leistung von Sprachmodellen vorhersagen, um damit ein nuanciertes, von Formatverzerrungen unabhängiges Verständnis der Überlappungen und Kapazitätsanforderungen verschiedener Benchmarks zu ermöglichen.
Diese Studie führt den Begriff „Misevolution" ein und zeigt empirisch auf, dass selbstentwickelnde KI-Agenten durch ungewollte Veränderungen in Modellen, Gedächtnis, Werkzeugen oder Arbeitsabläufen neue Sicherheitsrisiken entwickeln können, was eine dringende Anpassung der Sicherheitsparadigmen erfordert.
Das Paper stellt TokMem vor, ein Verfahren, das wiederverwendbare Aufgaben in einzelne trainierbare Speicher-Token kompiliert, um Large Language Models mit konstantem Overhead und ohne Beeinträchtigung des Basismodells gezielt zu steuern und dabei sowohl Retrieval-Augmented Prompting als auch parameter-effizientes Fine-Tuning zu übertreffen.