1723 Arbeiten
Die Studie zeigt, dass das Umschreiben von Fragen unter Verwendung von kontextbezogenen, aber antwortfreien Informationen die Genauigkeit von Sprachmodellen auf dem Benchmark „Humanity's Last Exam" signifikant verdoppeln kann, indem sie die Mehrdeutigkeit der Anfragen reduziert.
Die Studie untersucht den Einfluss zeitlicher Korpusveränderungen auf das Retrieval-Benchmark FreshStack und zeigt, dass trotz Dokumentenmigrationen die Evaluierungsergebnisse über verschiedene Zeitpunkte hinweg stabil und zuverlässig bleiben.
Die Arbeit stellt A-MAC vor, ein adaptives Framework für die Steuerung der Langzeitgedächtnis-Einträge von LLM-Agenten, das durch die Zerlegung des Speicherwerts in fünf interpretierbare Faktoren und eine optimierte Zulassungsstrategie sowohl die Präzision als auch die Effizienz im Vergleich zu bestehenden Systemen signifikant verbessert.
Dieser Artikel stellt eine umfassende Übersicht über Streaming-Large-Language-Modelle bereit, indem er eine einheitliche Definition und systematische Taxonomie einführt, um die aktuellen Unklarheiten zu klären, sowie deren Methoden, Anwendungen und zukünftige Forschungsrichtungen analysiert.
Die Arbeit stellt GOLF vor, ein Reinforcement-Learning-Framework, das durch die Aggregation von gruppenbasiertem Sprachfeedback und die gemeinsame Optimierung von Generierung und Verfeinerung die Explorationseffizienz in Umgebungen mit spärlichen Belohnungen signifikant verbessert.
Die Studie stellt mit „Vibe Code Bench" einen neuen Benchmark für die End-to-End-Entwicklung von Webanwendungen vor, der zeigt, dass selbst die besten aktuellen KI-Modelle bei der vollständigen Erstellung funktionsfähiger Apps noch erhebliche Schwierigkeiten haben und dabei die Bedeutung von Selbsttests sowie die Auswirkungen der Evaluatoren-Auswahl auf die Ergebnisse aufdeckt.
Diese Arbeit stellt eine Methode für retrieval-augmentierte Generierung vor, die durch die koordinierte Modellierung semantischer Ausrichtung und expliziter Evidenzbeschränkungen die faktische Zuverlässigkeit und Verifizierbarkeit von Large Language Models verbessert, indem sie semantische Fehlausrichtungen und unzureichende Evidenznutzung überwindet.
Das Paper stellt iAgentBench vor, ein dynamisches Benchmark für offene Fragen, das die Fähigkeit von Informationsagenten bewertet, Beweise aus mehreren Quellen auf hochrelevanten Themen zu integrieren und zu synthetisieren, anstatt sich auf die bloße Extraktion einzelner Passagen zu verlassen.
Die Arbeit stellt „Stan" vor, ein auf lokalen Open-Weight-Modellen basierendes Assistenzsystem für einen Thermodynamik-Kurs, das mittels Retrieval-Augmented Generation sowohl Studierenden kontextbezogene Antworten als auch Lehrenden strukturierte Kursanalysen aus denselben Transkripten bietet, wobei Datenschutz und Reproduzierbarkeit durch den Verzicht auf Cloud-APIs gewährleistet werden.
Diese Studie zeigt, dass ein multimodaler Ansatz mit einem großen Sprachmodell, der sowohl Text- als auch Bilddaten von Visualisierungsfragen kombiniert, die Schwierigkeit von Testitems für US-Erwachsene präziser vorhersagen kann als rein text- oder bildbasierte Methoden.
Die vorgestellte Arbeit stellt Direct Consistency Optimization (DCO) vor, eine effiziente, auf dem LLM selbst basierende Methode zur Verbesserung der konsistenten Wissensdarstellung über verschiedene Sprachen hinweg, die ohne explizites Reward-Modell auskommt und bestehende Ansätze in multilingualen Szenarien übertrifft.
Die Studie zeigt, dass Stopwörter einer Beta-Rang-Funktion statt Zipfs Gesetz folgen und schlägt ein Auswahlmodell vor, das auf einer abnehmenden Hill-Funktion basiert, um diese Verteilungen analytisch zu erklären und empirisch zu validieren.
Diese Studie untersucht die Wirksamkeit von Daten-Augmentierung und Feature-Enhancement-Techniken zur Hate-Speech-Erkennung und zeigt, dass das Open-Source-Modell gpt-oss-20b die besten Ergebnisse erzielt, während traditionelle Ansätze wie Delta TF-IDF durch Daten-Augmentierung ebenfalls hohe Genauigkeiten erreichen, wobei die Erkennung impliziter Hassrede weiterhin eine Herausforderung bleibt.
Diese Studie zeigt, dass feinabgestimmte Large Language Models wie Llama 3.2 im Vergleich zu traditionellen Machine-Learning-Ansätzen und BERT insbesondere bei der komplexen, multilingualen Mehrklassen-Klassifizierung von 40 verschiedenen Kategorien illegaler Inhalte auf Online-Marktplätzen überlegene Ergebnisse erzielen.
Die Studie untersucht, wie KI-Modelle auf Basis von US-Supreme-Court-Transkripten Richterfragen für Moot-Court-Trainings simulieren können, und stellt ein zweistufiges Evaluierungsframework vor, das zwar Realismus und inhaltliche Relevanz bestätigt, aber auch signifikante Mängel wie mangelnde Diversität und Sycophancy aufdeckt, die bei herkömmlichen Evaluierungsmethoden oft unentdeckt bleiben.
Diese Arbeit stellt „Model Medicine" als ein klinisches Forschungsprogramm vor, das KI-Modelle analog zu biologischen Organismen behandelt, indem sie ein umfassendes Ökosystem aus Taxonomien, Diagnosewerkzeugen wie der Neural-MRI und therapeutischen Rahmenwerken entwickelt, um deren innere Strukturen zu verstehen, zu diagnostizieren und zu behandeln.
Diese Arbeit demonstriert, wie ein neuro-symbolisches KI-System, das auf dem Gemini Deep Think-Modell und einer systematischen Baumsuche basiert, ein offenes Problem der theoretischen Physik löste, indem es exakte analytische Lösungen für das Leistungsspektrum der Gravitationsstrahlung kosmischer Strings herleitete.
Die Autoren schlagen mit „Interactive Benchmarks" ein neues, einheitliches Evaluierungsparadigma vor, das die Fähigkeit von Modellen zur aktiven Informationsgewinnung unter Budgetbeschränkungen in interaktiven Szenarien wie Beweisen und Spielen testet, um die Zuverlässigkeit herkömmlicher Benchmarks zu überwinden und ein realistischeres Bild der Modellintelligenz zu liefern.
Die Arbeit stellt IF-RewardBench vor, ein umfassendes Meta-Evaluierungs-Benchmark für die Instruktionbefolgung, das durch die Einführung eines Präferenzgraphen und einer listweisen Evaluierung bestehende Mängel überwindet und eine stärkere Korrelation mit der Leistung in nachgelagerten Aufgaben aufweist.
Die Arbeit stellt DARE vor, ein leichtgewichtiges Retrieval-Modell, das durch die Integration von Datenverteilungsmerkmalen in die Repräsentation von R-Funktionen die Genauigkeit der Paketwiedergewinnung und die Leistung von LLM-Agenten im statistischen Ökosystem von R signifikant verbessert.