1072 Arbeiten
Die Arbeit stellt MERLIN vor, ein zweistufiges Framework, das durch Curriculum-Learning und eine effiziente Anpassung mittels DoRA-Gewichten die Leistung von Encoder-LLM-Integrationen beim multilingualen logischen Schlussfolgern, insbesondere in ressourcenarmen Sprachen, signifikant verbessert.
Die Arbeit stellt eine umfassende Meta-Evaluation von Latenzmetriken für simultane Sprach-zu-Text-Übersetzung vor, identifiziert strukturelle Verzerrungen durch Segmentierung und führt mit YAAL, LongYAAL sowie dem SoftSegmenter-Tool verbesserte Lösungen und das OmniSTEval-Toolkit ein, um zuverlässigere Bewertungen zu ermöglichen.
Diese Studie zeigt, dass Decoder-only-Modelle bei der Anpassung an partielle Differentialgleichungen ohne Modifikation deutlich schlechter abschneiden als Encoder-only-Modelle, und stellt zwei neue Methoden (Parallel Flipping und Sequence Doubling) vor, die durch Nachahmung der Bidirektionalität diese Leistungslücke schließen.
Die Studie stellt fest, dass Mikro-Benchmarks für Sprachmodelle oft nicht zuverlässig genug sind, um Modelle mit ähnlicher Leistung korrekt zu rangieren, und zeigt auf, dass für konsistente Ergebnisse häufig so viele Testbeispiele benötigt werden, dass eine zufällige Stichprobe ebenso effektiv ist wie bestehende Mikro-Benchmarking-Methoden.
Die Studie zeigt, dass die internen Zustände von LLMs primär den Abruf parametrischen Wissens widerspiegeln und nicht die Wahrheit der Ausgabe, wodurch Halluzinationen, die auf statistischen Assoziationen basieren, von faktisch korrekten Aussagen kaum unterscheidbar sind, während nur nicht-assoziierte Halluzinationen zuverlässig detektierbar bleiben.
Die Arbeit stellt einen Ansatz vor, bei dem durch passives Beobachten des Nutzerverhaltens sofortige, spezifische Ziele abgeleitet werden, um große Sprachmodelle dynamisch auf individuelle Aufgaben zu spezialisieren und dadurch qualitativ überlegene, maßgeschneiderte Tools sowie Antworten zu generieren.
Die Studie zeigt, dass Chain-of-Thought-Reasoning die kontextbewusste Übersetzung durch große Sprachmodelle erheblich verbessert, wobei leistungsstärkere Modelle wie GPT-4 und Phi durch diesen Ansatz noch größere Fortschritte erzielen.
Die Studie zeigt, dass ChatGPT bei der automatisierten Kodierung von Kommunikationsdaten in Bezug auf Geschlecht und ethnische Zugehörigkeit eine mit menschlichen Bewertern vergleichbare Konsistenz aufweist, was seinen Einsatz in groß angelegten Bewertungen von Zusammenarbeit und Kommunikation ermöglicht.
Die Studie stellt fest, dass Sprachmodelle in strategischen Informationsbeschaffungsaufgaben oft hinter menschlichen Fähigkeiten zurückbleiben, und entwickelt darauf aufbauend Monte-Carlo-Inferenzstrategien, die inspiriert von der bayesschen experimentellen Designtheorie die Entscheidungsfindung und Genauigkeit von Agenten signifikant verbessern und sogar schwächere Modelle in der Lage versetzen, menschliche und fortschrittliche KI-Modelle zu übertreffen.
Die Arbeit stellt DETECT vor, die erste spezifisch für die deutsche Sprache entwickelte Metrik zur ganzheitlichen Bewertung von Textvereinfachungen, die mithilfe von synthetischen LLM-Daten trainiert wurde und in Bezug auf Einfachheit, Bedeutungsbewahrung und Flüssigkeit deutlich stärkere Korrelationen mit menschlichen Urteilen aufweist als bestehende allgemeine Metriken.
Die Arbeit stellt mit AfriMTEB ein umfassendes Benchmark für 59 afrikanische Sprachen vor und präsentiert AfriE5, ein durch cross-linguale kontrastive Distillation angepasstes Embedding-Modell, das den aktuellen State-of-the-Art bei der Texteinbettung für afrikanische Sprachen erreicht.
Die Arbeit stellt ein neues Verfahren vor, das mithilfe von Big-Five-Persönlichkeitsmerkmalen und einer hybriden Schichtauswahl in den Aktivierungsräumen von Large Language Models stabile und präzise Verhaltenssteuerungen ermöglicht, ohne dabei die Sprachflüssigkeit oder allgemeinen Fähigkeiten des Modells zu beeinträchtigen.
Die Studie „Critical Confabulation" untersucht, wie LLMs durch kontrollierte Halluzinationen historische Lücken zugunsten marginalisierter Gruppen füllen können, ohne dabei die historische Genauigkeit zu opfern.
Die Arbeit stellt Co-Layout vor, ein neuartiges Framework, das Large Language Models mit gitterbasiertem ganzzahligem Programmieren kombiniert, um die Innenraumgestaltung und Möbelplatzierung durch eine effiziente grob-zu-fein-Optimierungsstrategie gemeinsam zu verbessern.
Das Paper stellt SPINE vor, ein testzeitbasiertes Reinforcement-Learning-Verfahren für große Sprachmodelle, das durch token-selektive Updates an entscheidenden Verzweigungspunkten und eine Entropie-Band-Regularisierung den Zusammenfall von Antworten verhindert und die Genauigkeit bei Chain-of-Thought-Reasoning ohne externe Labels verbessert.
Diese Arbeit identifiziert und analysiert das neuartige Risiko der „Tools Orchestration Privacy Risk" (TOP-R), bei dem autonome Agenten durch die Kombination nicht-sensitiver Datenfragmente sensible Informationen ableiten, und stellt mit TOP-Bench, dem H-Score sowie wirksamen Minderungsstrategien einen systematischen Rahmen zur Bewertung und Lösung dieses Problems bereit.
Die vorgestellte Arbeit führt die Window-Based Comparison (WBC)-Methode ein, die durch die Analyse lokaler Kontextfenster anstelle globaler Durchschnitte die Wirksamkeit von Membership-Inference-Angriffen auf feinabgestimmte Large Language Models erheblich steigert und damit signifikante Datenschutzlücken aufdeckt.
Die vorgestellte Studie entwickelt einen Rahmen zur Feinabstimmung von Large Language Models, der mithilfe von sieben Lesbarkeitsmetriken und einem speziellen Datensatz altersgerechte und faktenbasierte Bildungsinhalte für sechs Schulstufen generiert und dabei im Vergleich zu reinen Prompt-Methoden eine signifikante Verbesserung der Niveauangemessenheit bei gleichzeitiger Wahrung der Richtigkeit erzielt.
Diese Studie stellt das PyMUSAS-Framework vor, das durch die Erstellung eines silberstandardisierten Datensatzes und den Einsatz hybrider regelbasierter sowie neuronaler Modelle die semantische Annotation im USAS-Rahmenwerk für fünf Sprachen erweitert und dabei umfangreiche multilinguale Evaluierungen sowie offene Ressourcen bereitstellt.
Die Arbeit stellt die Latent Exploration Decoding (LED) vor, eine trainingsfreie Dekodierungsstrategie, die durch die Aggregation und Auswahl von Zwischen-Schicht-Posterior-Werten mit maximaler Entropie den durch das Nachtrainieren verursachten Explorationskollaps in Large Reasoning Models überwindet und so die Genauigkeit auf verschiedenen Reasoning-Benchmarks verbessert.