1714 Arbeiten
Die Studie stellt ESGenius vor, den ersten umfassenden Benchmark zur Evaluierung von Large Language Models im Bereich ESG und Nachhaltigkeit, der aus einem von Experten validierten Fragenkatalog und einer Kuratierung autoritativer Quellen besteht und zeigt, dass Retrieval-Augmented Generation (RAG) die Leistung dieser Modelle in diesem spezialisierten Fachgebiet signifikant verbessert.
Diese Arbeit stellt eine deterministische Pipeline vor, die Rohdaten aus spezifischen Domänen automatisch in unvoreingenommene, LLM-unabhängige Benchmarks für die Bewertung von Fachwissen in Sprachmodellen umwandelt und dabei Kontaminationsprobleme sowie hohe Kosten für manuelle Annotation vermeidet.
Die Arbeit stellt Sysformer vor, ein trainierbares Transformer-Modell, das durch die adaptive Anpassung von Systemprompts in Eingabe-Embedding-Räumen die Sicherheit und Robustheit von eingefrorenen Large Language Models gegenüber schädlichen Eingaben und Jailbreak-Angriffen signifikant verbessert, ohne die Modellparameter selbst nachtrainieren zu müssen.
Die Arbeit stellt VLMQ vor, einen post-training-Quantisierungsrahmen für Vision-Sprach-Modelle, der durch die Identifizierung und Berücksichtigung von visueller Überrepräsentation sowie einer Modality-Gap und die selektive Priorisierung salienter Token mittels eines gradientenbasierten Wichtigkeitsfaktors die Quantisierungsleistung insbesondere bei niedrigen Bitbreiten signifikant verbessert.
Die Studie „Agri-Query" zeigt, dass eine hybride Retrieval-Augmented-Generation (RAG)-Strategie bei der cross-lingualen technischen Fragebeantwortung auf Basis eines landwirtschaftlichen Handbuchs konsistent besser abschneidet als direkte Long-Context-Prompting-Verfahren, wobei Modelle wie Gemini 2.5 Flash und Qwen 2.5 7B mit RAG eine Genauigkeit von über 85 % erreichen.
Die Arbeit stellt CMRAG vor, ein Framework für die visuelle Dokumentenabfrage, das durch die gleichzeitige Nutzung von Text- und Bildinformationen sowie ein einheitliches Kodierungsmodell und eine abgestimmte Retrieval-Methode die Leistung von Retrieval-Augmented-Generation-Systemen verbessert und dabei einen großen tripletbasierten Datensatz bereitstellt.
Die Arbeit stellt MERLIN vor, ein zweistufiges Framework, das durch Curriculum-Learning und eine effiziente Anpassung mittels DoRA-Gewichten die Leistung von Encoder-LLM-Integrationen beim multilingualen logischen Schlussfolgern, insbesondere in ressourcenarmen Sprachen, signifikant verbessert.
Die Arbeit stellt eine umfassende Meta-Evaluation von Latenzmetriken für simultane Sprach-zu-Text-Übersetzung vor, identifiziert strukturelle Verzerrungen durch Segmentierung und führt mit YAAL, LongYAAL sowie dem SoftSegmenter-Tool verbesserte Lösungen und das OmniSTEval-Toolkit ein, um zuverlässigere Bewertungen zu ermöglichen.
Diese Studie zeigt, dass Decoder-only-Modelle bei der Anpassung an partielle Differentialgleichungen ohne Modifikation deutlich schlechter abschneiden als Encoder-only-Modelle, und stellt zwei neue Methoden (Parallel Flipping und Sequence Doubling) vor, die durch Nachahmung der Bidirektionalität diese Leistungslücke schließen.
Die Studie stellt fest, dass Mikro-Benchmarks für Sprachmodelle oft nicht zuverlässig genug sind, um Modelle mit ähnlicher Leistung korrekt zu rangieren, und zeigt auf, dass für konsistente Ergebnisse häufig so viele Testbeispiele benötigt werden, dass eine zufällige Stichprobe ebenso effektiv ist wie bestehende Mikro-Benchmarking-Methoden.
Die Studie zeigt, dass die internen Zustände von LLMs primär den Abruf parametrischen Wissens widerspiegeln und nicht die Wahrheit der Ausgabe, wodurch Halluzinationen, die auf statistischen Assoziationen basieren, von faktisch korrekten Aussagen kaum unterscheidbar sind, während nur nicht-assoziierte Halluzinationen zuverlässig detektierbar bleiben.
Die Arbeit stellt einen Ansatz vor, bei dem durch passives Beobachten des Nutzerverhaltens sofortige, spezifische Ziele abgeleitet werden, um große Sprachmodelle dynamisch auf individuelle Aufgaben zu spezialisieren und dadurch qualitativ überlegene, maßgeschneiderte Tools sowie Antworten zu generieren.
Die Studie zeigt, dass Chain-of-Thought-Reasoning die kontextbewusste Übersetzung durch große Sprachmodelle erheblich verbessert, wobei leistungsstärkere Modelle wie GPT-4 und Phi durch diesen Ansatz noch größere Fortschritte erzielen.
Die Studie zeigt, dass ChatGPT bei der automatisierten Kodierung von Kommunikationsdaten in Bezug auf Geschlecht und ethnische Zugehörigkeit eine mit menschlichen Bewertern vergleichbare Konsistenz aufweist, was seinen Einsatz in groß angelegten Bewertungen von Zusammenarbeit und Kommunikation ermöglicht.
Die Studie stellt fest, dass Sprachmodelle in strategischen Informationsbeschaffungsaufgaben oft hinter menschlichen Fähigkeiten zurückbleiben, und entwickelt darauf aufbauend Monte-Carlo-Inferenzstrategien, die inspiriert von der bayesschen experimentellen Designtheorie die Entscheidungsfindung und Genauigkeit von Agenten signifikant verbessern und sogar schwächere Modelle in der Lage versetzen, menschliche und fortschrittliche KI-Modelle zu übertreffen.
Die Arbeit stellt DETECT vor, die erste spezifisch für die deutsche Sprache entwickelte Metrik zur ganzheitlichen Bewertung von Textvereinfachungen, die mithilfe von synthetischen LLM-Daten trainiert wurde und in Bezug auf Einfachheit, Bedeutungsbewahrung und Flüssigkeit deutlich stärkere Korrelationen mit menschlichen Urteilen aufweist als bestehende allgemeine Metriken.
Die Arbeit stellt mit AfriMTEB ein umfassendes Benchmark für 59 afrikanische Sprachen vor und präsentiert AfriE5, ein durch cross-linguale kontrastive Distillation angepasstes Embedding-Modell, das den aktuellen State-of-the-Art bei der Texteinbettung für afrikanische Sprachen erreicht.
Die Arbeit stellt ein neues Verfahren vor, das mithilfe von Big-Five-Persönlichkeitsmerkmalen und einer hybriden Schichtauswahl in den Aktivierungsräumen von Large Language Models stabile und präzise Verhaltenssteuerungen ermöglicht, ohne dabei die Sprachflüssigkeit oder allgemeinen Fähigkeiten des Modells zu beeinträchtigen.
Die Studie „Critical Confabulation" untersucht, wie LLMs durch kontrollierte Halluzinationen historische Lücken zugunsten marginalisierter Gruppen füllen können, ohne dabei die historische Genauigkeit zu opfern.
Die Arbeit stellt Co-Layout vor, ein neuartiges Framework, das Large Language Models mit gitterbasiertem ganzzahligem Programmieren kombiniert, um die Innenraumgestaltung und Möbelplatzierung durch eine effiziente grob-zu-fein-Optimierungsstrategie gemeinsam zu verbessern.