1920 Arbeiten
Dieses Papier stellt die Chain of Correction (CoC) vor, eine Methode, die Large Language Models mittels eines Multi-Turn-Chat-Formats nutzt, um Fehler in vollständigen Spracherkennungstexten segmentweise zu korrigieren und dabei Stabilität, Kontrolle und Flüssigkeit im Vergleich zu bestehenden Systemen signifikant verbessert.
Die Arbeit stellt AnesSuite vor, das erste umfassende Datensatz- und Benchmark-System für das anästhesiologische Reasoning in LLMs, und entwickelt darauf aufbauend das Basismodell Morpheus, das durch gezieltes Training nicht nur in diesem Fachgebiet, sondern auch in allgemeinen medizinischen und breiten Domänen signifikante Verbesserungen erzielt.
Das Papier stellt DRA-GRPO vor, einen neuartigen, theoretisch fundierten Ansatz, der durch die Nutzung von Submodularer Gegenseitiger Information die Diversität der Denkpfade in GRPO-basierten mathematischen Reasoning-Modellen verbessert und so deren Effizienz und Genauigkeit bei geringen Trainingskosten signifikant steigert.
Die Studie zeigt, dass große Sprachmodelle wie Claude 3.5 Sonnet und DeepSeek v3 in interaktiven Dialogen motivierte menschliche Überzeuger übertreffen, wobei dieser Vorteil vom Kontext (wahrheitsgemäß oder täuschend) und der Interaktionshäufigkeit abhängt und möglicherweise auf eine höhere Überzeugungskraft der KI-Modelle zurückzuführen ist.
Das Paper stellt mCLM vor, ein modulares chemisches Sprachmodell, das Moleküle auf Basis funktionaler Bausteine statt einzelner Atome tokenisiert, um gleichzeitig die Vorhersage chemischer Eigenschaften zu verbessern und die Kompatibilität mit der automatisierten Synthese sicherzustellen.
Dieses Paper stellt DTR vor, eine neuartige Inferenzzeit-Verteidigung, die durch dynamische Neugewichtung von visuellen Token-Weights in den Key-Value-Caches multimodale Jailbreak-Angriffe auf Vision-Language-Modelle wirksam abwehrt, ohne dabei die allgemeinen Fähigkeiten des Modells oder die Inferenzeffizienz zu beeinträchtigen.
Diese Arbeit stellt „Chain-of-Lure" vor, ein universelles Jailbreak-Framework, das mithilfe von unbeschränkten synthetischen Narrativen und einem Hilfs-LLM für die Optimierung von Dialogen schädliche Absichten in Large Language Models erfolgreich umgeht und dabei neue Erkenntnisse für die Entwicklung robusterer Sicherheitsmechanismen liefert.
Die Arbeit stellt Negative-aware Fine-Tuning (NFT) vor, einen überwachten Lernansatz, der durch die Modellierung selbstgenerierter negativer Antworten die Lücke zwischen überwachtem Lernen und Bestärkendem Lernen schließt und mathematische Reasoning-Fähigkeiten von LLMs ohne externe Lehrer signifikant verbessert.
Das Paper stellt SQUiD vor, ein neurosymbolisches Framework, das mithilfe von Large Language Models aus unstrukturierten Texten automatisch relationale Datenbanken mit Schema und Daten synthetisiert und dabei bestehende Baseline-Methoden übertrifft.
Die Arbeit stellt Intuitor vor, eine Methode des Reinforcement Learning aus internem Feedback, die Large Language Models ermöglicht, sich ausschließlich auf ihr eigenes Selbstvertrauen als Belohnungssignal zu verlassen, um komplexe reasoning-Aufgaben ohne externe Belohnungen oder gelabelte Daten zu meistern und dabei eine bessere Generalisierung als herkömmliche Ansätze zu erreichen.
Die Arbeit stellt RPM vor, ein bahnbrechendes Framework, das durch die automatische Extraktion benutzerspezifischer Denkstrukturen aus Rohdaten eine übergeordnete, interpretierbare Personalisierung für Black-Box-LLMs ermöglicht und damit bestehende reaktionsbasierte Ansätze übertrifft.
Diese Studie zeigt, dass die Anreicherung von Large Language Models mit Metadaten und automatisierten Validierungsschritten die Machbarkeit und Qualität von Forschungsideen in den Sozialwissenschaften signifikant verbessert und Wissenschaftler:innen effektiv bei der Generierung hochwertigerer eigener Ideen unterstützt.
Der vorgestellte Ansatz RefTool ermöglicht Large Language Models, durch die Nutzung externer Referenzmaterialien wie Lehrbücher automatisch zuverlässige und hierarchisch organisierte Werkzeuge zu erstellen und einzusetzen, um ihr Schlussfolgern in wissensintensiven Domänen über ihre eigenen internen Wissensgrenzen hinaus zu verbessern.
Das Paper stellt VeriTrail vor, eine bahnbrechende Methode zur Erkennung von Halluzinationen in geschlossenen Domänen, die erstmals nicht nur die Endausgabe, sondern auch die Nachverfolgbarkeit von Fehlern in mehrstufigen Generierungsprozessen ermöglicht und durch neue Datensätze mit Zwischenoutputs und menschlichen Annotationen untermauert wird.
Das Paper stellt RedTeamCUA vor, ein Framework mit einer hybriden Sandbox zur realistischen adversarischen Testung von Computer-Use-Agenten, das in RTC-Bench erhebliche Sicherheitslücken gegenüber indirekten Prompt-Injection-Angriffen in gemischten Web-OS-Umgebungen aufdeckt und die dringende Notwendigkeit robuster Verteidigungsmechanismen vor einer realen Einsatzbereitschaft unterstreicht.
Die Arbeit stellt CityLens vor, ein umfassendes Benchmark-System, das die Fähigkeiten von Large Vision-Language-Modellen (LVLMs) bei der Vorhersage sozioökonomischer Indikatoren aus Satelliten- und Straßenbildern in 17 Städten weltweit evaluiert und dabei sowohl deren vielversprechende Potenziale als auch bestehende Grenzen aufzeigt.
Die Arbeit stellt OmniSpatial vor, ein umfassendes Benchmark auf psychologischer Grundlage mit über 8.400 annotierten Beispielen, das die signifikanten Defizite aktueller Vision-Language-Modelle in der komplexen räumlichen Reasoning aufzeigt und zwei Strategien zur Verbesserung dieser Fähigkeiten evaluiert.
Die Arbeit stellt eine Meta-Lern-Methode namens Meta-Adaptive Prompt Distillation vor, die durch die Anpassung von aus aufgabenrelevanten visuellen Merkmalen destillierten Soft-Prompts die Few-Shot-Fähigkeiten von Large Multimodal Models für das Visual Question Answering verbessert und dabei die Leistung herkömmlicher In-Context-Learning-Ansätze signifikant übertrifft.
Die Arbeit stellt VINCIE vor, ein skalierbares Modell, das durch das direkte Lernen aus annotierten Videos und die Nutzung von Block-kausalen Diffusions-Transformern für mehrere Proxy-Aufgaben state-of-the-art Ergebnisse beim in-Kontext-Bildbearbeiten erzielt, ohne auf spezialisierte Expertensysteme angewiesen zu sein.
Die Arbeit stellt FAME vor, ein Framework für Fairness-bewusste multimodale Embeddings, das durch gewichtete Modalitäten und einen kombinierten Verlustfunktion die Vorhersageleistung und Fairness in elektronischen Gesundheitsakten gleichzeitig optimiert.