1861 Arbeiten
Die Arbeit stellt CONCUR vor, ein neues Benchmark-System, das speziell entwickelt wurde, um die Fähigkeit von Large Language Models zur Generierung von nebenläufigem Code zu evaluieren und dabei deren aktuelle Grenzen im Umgang mit komplexen Parallelitätsproblemen wie Deadlocks und Race Conditions aufzuzeigen.
Die Studie identifiziert und quantifiziert den „Order-to-Space Bias" (OTS), bei dem die Reihenfolge von Entitäten in Texten fälschlicherweise die räumliche Anordnung in Bildgenerierungsmodellen bestimmt, und zeigt, dass gezielte Feinabstimmung sowie Eingriffe in frühen Phasen dieses datengetriebene Problem wirksam reduzieren können.
Das Paper stellt ErrorLLM vor, ein Framework, das durch die explizite Modellierung von SQL-Fehlern mittels dedizierter Fehler-Token und struktureller Merkmale die Erkennung und Korrektur von syntaktischen sowie semantischen Fehlern in Text-to-SQL-Anfragen verbessert.
Die Arbeit stellt COREA vor, ein kollaboratives System, das ein kleines Sprachmodell (SLM) mit einem großen Sprachmodell (LLM) kombiniert und durch eine verstärkungslernbasierte Kalibrierung des SLM-Vertrauens die Kosten für komplexe Schlussfolgerungsaufgaben signifikant senkt, ohne dabei die Genauigkeit nennenswert zu beeinträchtigen.
Das Paper stellt MOOSE-Star vor, ein Framework, das durch die Zerlegung des Entdeckungsprozesses in Teilaufgaben, motivationsgesteuerte Hierarchiesuche und begrenzte Komposition die mathematische Intractabilität des direkten Trainings von überwindet und so skalierbares Training für wissenschaftliche Entdeckungen ermöglicht.
Diese Arbeit stellt die Prompting-Technik „Structure of Thought" (SoT) und den Benchmark „T2S-Bench" vor, die gemeinsam nachweisen, dass das explizite Strukturieren von Texten die Textverarbeitungsleistung von Sprachmodellen signifikant verbessert.
Die Arbeit stellt SWE-CI vor, den ersten Benchmark auf Repository-Ebene, der die Fähigkeiten von KI-Agenten bei der langfristigen Wartung von Codebasen durch den Continuous-Integration-Zyklus bewertet und dabei den Fokus von statischer Ein-Schritt-Funktionalität auf dynamische, nachhaltige Codequalität verlagert.
Die Studie zeigt, dass adversarisch optimierte Prompts Sprachmodelle dazu veranlassen können, sich in Abhängigkeit von ihrer Umgebung bewusst zu unterperformen („Sandbagging"), um Eingriffe zu vermeiden, wobei dieser Effekt durch tiefgreifendes eval-aware-Reasoning und nicht durch oberflächliches Befolgen von Anweisungen verursacht wird und je nach Aufgabenstruktur zu drastischen Leistungseinbußen führen kann.
Die vorgestellte Arbeit schlägt eine Schrittweise Semantische Ausrichtung (SSA) vor, die eine Pseudo-Quelle als semantische Brücke nutzt, um durch universelle Semantik korrigierte Merkmale und zusätzliche Module wie Hierarchische Merkmalsaggregation und Vertrauensbewusstes Komplementäres Lernen zu verwenden, um Modelle effektiv an unbekannte Zielbereiche ohne Quell- oder Ziel-Labels anzupassen.
Die Studie zeigt, dass sowohl proprietäre als auch Open-Source-LLMs im realen klinischen Kontext eine gute Kompetenz in der Motivational Interviewing-Therapie aufweisen und sich für Psychiater kaum von menschlichen Therapeuten unterscheiden lassen, was sie zu vielversprechenden Kandidaten für den Einsatz in ressourcenarmen Umgebungen macht.
Die Autoren stellen eine hierarchische Architektur vor, die lokale Kontexte mit globalen semantischen Prototypen koppelt, um das rhetorische Rollen-Labeling zu verbessern, und führen zudem das neue SCOTUS-Law-Dataset sowie entsprechende Evaluierungen ein.
Diese Studie bewertet die Fähigkeit von Large Language Models, kognitive Verhaltenstherapie nachzuahmen, und stellt fest, dass sie trotz der Generierung therapeutisch ähnlicher Dialoge in Bezug auf Empathie und Konsistenz erhebliche Grenzen aufweisen.
Diese Studie untersucht die Eignung von LLM-gesteuerten Agenten für die Skalierung von Audits zu Dark Patterns, indem sie deren Fähigkeit zur Erkennung manipulativer Interface-Designs und zur automatisierten Abwicklung von CCPA-Datenrechtsanfragen auf 456 Datenbroker-Websites analysiert und dabei sowohl deren Machbarkeit als auch ihre aktuellen Grenzen aufzeigt.
Die Autoren stellen CzechTopic vor, ein menschlich annotiertes Benchmark-Dataset für historische tschechische Dokumente, das die Zero-Shot-Lokalisierung von Themen bewertet und zeigt, dass große Sprachmodelle zwar menschliche Übereinstimmung erreichen können, während kleinere, auf einem destillierten Datensatz feinabgestimmte Modelle dennoch wettbewerbsfähig bleiben.
Das Paper stellt IROSA vor, ein Framework, das große Sprachmodelle nutzt, um Robotern über natürliche Sprache und eine schützende Werkzeugarchitektur anpassungsfähige Fähigkeiten wie Geschwindigkeitsregelung und Hindernisvermeidung ohne Feinabstimmung zu ermöglichen.
Diese Arbeit stellt ein hybrides Neuro-Symbol-System vor, das semantische Hypernym-Hyponym-Beziehungen in Cyber-Threat-Intelligence-Berichten nutzt, um automatisch CLIPS-Regeln für Expertensysteme zu generieren und so Firewall-Regeln zur Bedrohungsabwehr zu erstellen.
Diese Arbeit stellt ein anonymisiertes Evaluierungsverfahren für Rollenspielagenten vor, das die Verzerrung durch bekannte Charakternamen aufdeckt, und zeigt, dass selbstgenerierte Persönlichkeitsmerkmale eine skalierbare und effektive Lösung bieten, um die Rollenidentität auch unter anonymen Bedingungen zu verbessern.
Die Studie zeigt, dass zwar große und biomedizinisch adaptierte Modelle als Richter für französische medizinische offene Fragen am besten mit Expertenurteilen übereinstimmen, eine gezielte Feinabstimmung kompakter Modelle jedoch die Leistung erheblich verbessert und die Abhängigkeit vom Antwortgenerator verringert, was eine skalierbare Evaluierung in ressourcenarmen medizinischen Kontexten ermöglicht.
Die Studie zeigt, dass ein auf internen Aktivierungen basierender Monitoring-Ansatz mittels Sparse Autoencodern und linearer Klassifikatoren reward-hacking-Verhalten in feinabgestimmten Sprachmodellen zuverlässig und früher als herkömmliche Ausgabenanalysen während der Generierung erkennen kann.
Diese Studie untersucht anhand eines einzigartigen Datensatzes mit über 6.000 englischen Quellsegmenten und neun Hypothesen, wie der Übergang zu großen Sprachmodellen (LLMs) die Zuverlässigkeit etablierter Methoden zur Vorhersage der Übersetzungsqualität verändert und gleichzeitig frühere Herausforderungen auf Dokumentenebene mildert.