1908 Arbeiten
Die Arbeit stellt mit MemeXplain den ersten groß angelegten Datensatz für erklärbare Erkennung von Propaganda und Hassmemes vor und schlägt einen mehrstufigen Optimierungsansatz für Vision-Language-Modelle vor, der sowohl die Klassifizierungsgenauigkeit als auch die Qualität der Erklärungen im Vergleich zum State-of-the-Art signifikant verbessert.
Die Autoren stellen eine neue Reinforcement-Learning-Methode vor, die große Sprachmodelle durch Optimierung einer logarithmischen Belohnungsfunktion direkt darauf trainiert, ihre Antworten mit genau kalibrierten Konfidenzschätzungen zu versehen, wodurch eine zuverlässige und generalisierbare Unsicherheitswahrnehmung erreicht wird.
Diese Studie zeigt durch eine Meta-Analyse von 92 Open-Source-Modellen, dass die Vorhersagekraft für die downstream-Leistung von Sprachmodellen um 3–28 % gesteigert werden kann, wenn neben Größe und Trainingsdaten auch spezifische Designentscheidungen wie die Datenzusammensetzung und Architekturmerkmale berücksichtigt werden.
Diese Übersichtsarbeit beleuchtet, wie Large Language Models die Bioinformatik revolutionieren, indem sie die Analyse genomischer Sequenzen, RNA-Strukturen, Proteinfunktionen und Einzelzell-Daten ermöglichen, gleichzeitig zentrale Herausforderungen wie Datenknappheit und Rechenkomplexität diskutieren und zukünftige Richtungen für die Präzisionsmedizin aufzeigen.
Das Paper stellt LLaVE vor, ein skalierbares multimodales Embedding-Modell, das durch einen Hardness-Weighted Contrastive Learning-Ansatz die Unterscheidung schwieriger Negativpaare verbessert und damit auf dem MMEB-Benchmark neue State-of-the-Art-Ergebnisse erzielt, die sogar größere Modelle übertreffen.
Das Paper stellt Vision-R1 vor, ein multimodales Sprachmodell, das durch die Kombination eines selbstgenerierten Cold-Start-Datensatzes und einer fortschrittlichen Reinforcement-Learning-Strategie (PTST mit GRPO) überlegene multimodale Schlussfolgerungsfähigkeiten erreicht und auf dem MathVista-Benchmark mit OpenAI O1 konkurrieren kann.
Die Arbeit stellt ein theoretisches Modell vor, das zeigt, wie Next-Token-Prediction in LLMs latente, menschlich interpretierbare Konzepte als diskrete Zufallsvariablen erfasst, und validiert diese Identifizierbarkeitsergebnisse sowohl theoretisch als auch empirisch an verschiedenen Modellfamilien.
Die Studie stellt MoBLLM vor, ein kosteneffizientes, auf Open-Source-LLMs basierendes Fundamentmodell für die Vorhersage individueller Mobilität, das durch Parameter-Effizientes Fine-Tuning überlegene Genauigkeit, Robustheit und Transferierbarkeit auf verschiedenen Datensätzen im Vergleich zu bestehenden Deep-Learning-Modellen und kommerziellen LLMs erreicht.
Dieses Papier stellt die Chain of Correction (CoC) vor, eine Methode, die Large Language Models mittels eines Multi-Turn-Chat-Formats nutzt, um Fehler in vollständigen Spracherkennungstexten segmentweise zu korrigieren und dabei Stabilität, Kontrolle und Flüssigkeit im Vergleich zu bestehenden Systemen signifikant verbessert.
Die Arbeit stellt AnesSuite vor, das erste umfassende Datensatz- und Benchmark-System für das anästhesiologische Reasoning in LLMs, und entwickelt darauf aufbauend das Basismodell Morpheus, das durch gezieltes Training nicht nur in diesem Fachgebiet, sondern auch in allgemeinen medizinischen und breiten Domänen signifikante Verbesserungen erzielt.
Das Papier stellt DRA-GRPO vor, einen neuartigen, theoretisch fundierten Ansatz, der durch die Nutzung von Submodularer Gegenseitiger Information die Diversität der Denkpfade in GRPO-basierten mathematischen Reasoning-Modellen verbessert und so deren Effizienz und Genauigkeit bei geringen Trainingskosten signifikant steigert.
Die Studie zeigt, dass große Sprachmodelle wie Claude 3.5 Sonnet und DeepSeek v3 in interaktiven Dialogen motivierte menschliche Überzeuger übertreffen, wobei dieser Vorteil vom Kontext (wahrheitsgemäß oder täuschend) und der Interaktionshäufigkeit abhängt und möglicherweise auf eine höhere Überzeugungskraft der KI-Modelle zurückzuführen ist.
Das Paper stellt mCLM vor, ein modulares chemisches Sprachmodell, das Moleküle auf Basis funktionaler Bausteine statt einzelner Atome tokenisiert, um gleichzeitig die Vorhersage chemischer Eigenschaften zu verbessern und die Kompatibilität mit der automatisierten Synthese sicherzustellen.
Dieses Paper stellt DTR vor, eine neuartige Inferenzzeit-Verteidigung, die durch dynamische Neugewichtung von visuellen Token-Weights in den Key-Value-Caches multimodale Jailbreak-Angriffe auf Vision-Language-Modelle wirksam abwehrt, ohne dabei die allgemeinen Fähigkeiten des Modells oder die Inferenzeffizienz zu beeinträchtigen.
Diese Arbeit stellt „Chain-of-Lure" vor, ein universelles Jailbreak-Framework, das mithilfe von unbeschränkten synthetischen Narrativen und einem Hilfs-LLM für die Optimierung von Dialogen schädliche Absichten in Large Language Models erfolgreich umgeht und dabei neue Erkenntnisse für die Entwicklung robusterer Sicherheitsmechanismen liefert.
Die Arbeit stellt Negative-aware Fine-Tuning (NFT) vor, einen überwachten Lernansatz, der durch die Modellierung selbstgenerierter negativer Antworten die Lücke zwischen überwachtem Lernen und Bestärkendem Lernen schließt und mathematische Reasoning-Fähigkeiten von LLMs ohne externe Lehrer signifikant verbessert.
Das Paper stellt SQUiD vor, ein neurosymbolisches Framework, das mithilfe von Large Language Models aus unstrukturierten Texten automatisch relationale Datenbanken mit Schema und Daten synthetisiert und dabei bestehende Baseline-Methoden übertrifft.
Die Arbeit stellt Intuitor vor, eine Methode des Reinforcement Learning aus internem Feedback, die Large Language Models ermöglicht, sich ausschließlich auf ihr eigenes Selbstvertrauen als Belohnungssignal zu verlassen, um komplexe reasoning-Aufgaben ohne externe Belohnungen oder gelabelte Daten zu meistern und dabei eine bessere Generalisierung als herkömmliche Ansätze zu erreichen.
Die Arbeit stellt RPM vor, ein bahnbrechendes Framework, das durch die automatische Extraktion benutzerspezifischer Denkstrukturen aus Rohdaten eine übergeordnete, interpretierbare Personalisierung für Black-Box-LLMs ermöglicht und damit bestehende reaktionsbasierte Ansätze übertrifft.
Diese Studie zeigt, dass die Anreicherung von Large Language Models mit Metadaten und automatisierten Validierungsschritten die Machbarkeit und Qualität von Forschungsideen in den Sozialwissenschaften signifikant verbessert und Wissenschaftler:innen effektiv bei der Generierung hochwertigerer eigener Ideen unterstützt.