2013 Arbeiten
Die Arbeit stellt Negative-aware Fine-Tuning (NFT) vor, einen überwachten Lernansatz, der durch die Modellierung selbstgenerierter negativer Antworten die Lücke zwischen überwachtem Lernen und Bestärkendem Lernen schließt und mathematische Reasoning-Fähigkeiten von LLMs ohne externe Lehrer signifikant verbessert.
Das Paper stellt SQUiD vor, ein neurosymbolisches Framework, das mithilfe von Large Language Models aus unstrukturierten Texten automatisch relationale Datenbanken mit Schema und Daten synthetisiert und dabei bestehende Baseline-Methoden übertrifft.
Die Arbeit stellt Intuitor vor, eine Methode des Reinforcement Learning aus internem Feedback, die Large Language Models ermöglicht, sich ausschließlich auf ihr eigenes Selbstvertrauen als Belohnungssignal zu verlassen, um komplexe reasoning-Aufgaben ohne externe Belohnungen oder gelabelte Daten zu meistern und dabei eine bessere Generalisierung als herkömmliche Ansätze zu erreichen.
Die Arbeit stellt RPM vor, ein bahnbrechendes Framework, das durch die automatische Extraktion benutzerspezifischer Denkstrukturen aus Rohdaten eine übergeordnete, interpretierbare Personalisierung für Black-Box-LLMs ermöglicht und damit bestehende reaktionsbasierte Ansätze übertrifft.
Diese Studie zeigt, dass die Anreicherung von Large Language Models mit Metadaten und automatisierten Validierungsschritten die Machbarkeit und Qualität von Forschungsideen in den Sozialwissenschaften signifikant verbessert und Wissenschaftler:innen effektiv bei der Generierung hochwertigerer eigener Ideen unterstützt.
Der vorgestellte Ansatz RefTool ermöglicht Large Language Models, durch die Nutzung externer Referenzmaterialien wie Lehrbücher automatisch zuverlässige und hierarchisch organisierte Werkzeuge zu erstellen und einzusetzen, um ihr Schlussfolgern in wissensintensiven Domänen über ihre eigenen internen Wissensgrenzen hinaus zu verbessern.
Das Paper stellt VeriTrail vor, eine bahnbrechende Methode zur Erkennung von Halluzinationen in geschlossenen Domänen, die erstmals nicht nur die Endausgabe, sondern auch die Nachverfolgbarkeit von Fehlern in mehrstufigen Generierungsprozessen ermöglicht und durch neue Datensätze mit Zwischenoutputs und menschlichen Annotationen untermauert wird.
Das Paper stellt RedTeamCUA vor, ein Framework mit einer hybriden Sandbox zur realistischen adversarischen Testung von Computer-Use-Agenten, das in RTC-Bench erhebliche Sicherheitslücken gegenüber indirekten Prompt-Injection-Angriffen in gemischten Web-OS-Umgebungen aufdeckt und die dringende Notwendigkeit robuster Verteidigungsmechanismen vor einer realen Einsatzbereitschaft unterstreicht.
Die Arbeit stellt CityLens vor, ein umfassendes Benchmark-System, das die Fähigkeiten von Large Vision-Language-Modellen (LVLMs) bei der Vorhersage sozioökonomischer Indikatoren aus Satelliten- und Straßenbildern in 17 Städten weltweit evaluiert und dabei sowohl deren vielversprechende Potenziale als auch bestehende Grenzen aufzeigt.
Die Arbeit stellt OmniSpatial vor, ein umfassendes Benchmark auf psychologischer Grundlage mit über 8.400 annotierten Beispielen, das die signifikanten Defizite aktueller Vision-Language-Modelle in der komplexen räumlichen Reasoning aufzeigt und zwei Strategien zur Verbesserung dieser Fähigkeiten evaluiert.
Die Arbeit stellt eine Meta-Lern-Methode namens Meta-Adaptive Prompt Distillation vor, die durch die Anpassung von aus aufgabenrelevanten visuellen Merkmalen destillierten Soft-Prompts die Few-Shot-Fähigkeiten von Large Multimodal Models für das Visual Question Answering verbessert und dabei die Leistung herkömmlicher In-Context-Learning-Ansätze signifikant übertrifft.
Die Arbeit stellt VINCIE vor, ein skalierbares Modell, das durch das direkte Lernen aus annotierten Videos und die Nutzung von Block-kausalen Diffusions-Transformern für mehrere Proxy-Aufgaben state-of-the-art Ergebnisse beim in-Kontext-Bildbearbeiten erzielt, ohne auf spezialisierte Expertensysteme angewiesen zu sein.
Die Arbeit stellt FAME vor, ein Framework für Fairness-bewusste multimodale Embeddings, das durch gewichtete Modalitäten und einen kombinierten Verlustfunktion die Vorhersageleistung und Fairness in elektronischen Gesundheitsakten gleichzeitig optimiert.
Die Studie stellt LA-CDM vor, einen hypothesengesteuerten Sprachagenten, der durch eine Kombination aus überwachtem Lernen und Verstärkungslernen klinische Entscheidungen iterativ trifft, indem er relevante Tests anfordert und interpretiert, um die diagnostische Genauigkeit und Effizienz zu verbessern.
Das Paper stellt AgentSynth vor, eine skalierbare und kosteneffiziente Pipeline zur automatischen Generierung hochwertiger Aufgaben und Trajektoriendatensätze für allgemeine Computer-Nutzungs-Agenten, die durch die Kombination einfacher Teilaufgaben komplexe Langzeit-Herausforderungen schafft und dabei deutlich günstiger als menschliche Annotationen ist.
Das Papier stellt GenRecal vor, ein allgemeines Distillations-Framework für Vision-Language-Modelle, das durch eine Rekalisierungs-Komponente den Wissenstransfer zwischen heterogenen Architekturen ermöglicht und so kleine Modelle auf das Niveau großer, ressourcenintensiver Systeme bringt.
Die Studie stellt OJBench vor, einen neuen Benchmark mit 232 anspruchsvollen Wettbewerbsaufgaben aus NOI und ICPC, der zeigt, dass selbst fortschrittliche Sprachmodelle bei der Lösung komplexer Programmierprobleme auf Wettbewerbsniveau erhebliche Schwierigkeiten haben.
Die Arbeit stellt ein theoretisches Raster zur Analyse von Fehlerquellen bei langen Texten in LLMs vor und zeigt, dass eine strategische Aufteilung in Chunks mit einem Aggregator selbst schwächere Modelle in der Lage versetzt, komplexe Langkontextaufgaben effektiver zu lösen als leistungsstarke Einzelmodelle.
Das Paper stellt LongWriter-Zero vor, ein Reinforcement-Learning-Verfahren, das Large Language Models ohne synthetische Trainingsdaten in die Lage versetzt, ultra-lange und qualitativ hochwertige Texte zu generieren und dabei sowohl traditionelle SFT-Methoden als auch deutlich größere Modelle zu übertreffen.
Die Autoren stellen TTSDS2 vor, ein robustes Metrik-System, das als einzige von 16 verglichenen Kennzahlen in allen Domänen eine signifikante Korrelation mit subjektiven Bewertungen aufweist, und stellen zudem umfangreiche Ressourcen wie einen Datensatz mit über 11.000 Bewertungen und ein mehrsprachiges Benchmark für die Evaluierung menschenähnlicher Text-zu-Sprache-Systeme bereit.