1714 Arbeiten
Das Paper stellt SPINE vor, ein testzeitbasiertes Reinforcement-Learning-Verfahren für große Sprachmodelle, das durch token-selektive Updates an entscheidenden Verzweigungspunkten und eine Entropie-Band-Regularisierung den Zusammenfall von Antworten verhindert und die Genauigkeit bei Chain-of-Thought-Reasoning ohne externe Labels verbessert.
Diese Arbeit identifiziert und analysiert das neuartige Risiko der „Tools Orchestration Privacy Risk" (TOP-R), bei dem autonome Agenten durch die Kombination nicht-sensitiver Datenfragmente sensible Informationen ableiten, und stellt mit TOP-Bench, dem H-Score sowie wirksamen Minderungsstrategien einen systematischen Rahmen zur Bewertung und Lösung dieses Problems bereit.
Die vorgestellte Arbeit führt die Window-Based Comparison (WBC)-Methode ein, die durch die Analyse lokaler Kontextfenster anstelle globaler Durchschnitte die Wirksamkeit von Membership-Inference-Angriffen auf feinabgestimmte Large Language Models erheblich steigert und damit signifikante Datenschutzlücken aufdeckt.
Die vorgestellte Studie entwickelt einen Rahmen zur Feinabstimmung von Large Language Models, der mithilfe von sieben Lesbarkeitsmetriken und einem speziellen Datensatz altersgerechte und faktenbasierte Bildungsinhalte für sechs Schulstufen generiert und dabei im Vergleich zu reinen Prompt-Methoden eine signifikante Verbesserung der Niveauangemessenheit bei gleichzeitiger Wahrung der Richtigkeit erzielt.
Diese Studie stellt das PyMUSAS-Framework vor, das durch die Erstellung eines silberstandardisierten Datensatzes und den Einsatz hybrider regelbasierter sowie neuronaler Modelle die semantische Annotation im USAS-Rahmenwerk für fünf Sprachen erweitert und dabei umfangreiche multilinguale Evaluierungen sowie offene Ressourcen bereitstellt.
Die Arbeit stellt die Latent Exploration Decoding (LED) vor, eine trainingsfreie Dekodierungsstrategie, die durch die Aggregation und Auswahl von Zwischen-Schicht-Posterior-Werten mit maximaler Entropie den durch das Nachtrainieren verursachten Explorationskollaps in Large Reasoning Models überwindet und so die Genauigkeit auf verschiedenen Reasoning-Benchmarks verbessert.
Die Arbeit stellt COMI vor, ein zweistufiges Framework zur adaptiven Kontextkomprimierung, das durch die Optimierung des marginalen Informationsgewinns (MIG) Redundanz effektiv reduziert und dabei die semantische Relevanz für Aufgaben wie Fragebeantwortung und Zusammenfassung auch bei extrem hohen Kompressionsraten erhält.
Diese Arbeit präsentiert Fallstudien und bewährte Techniken, die zeigen, wie Forscher mit Google's Gemini-Modellen erfolgreich zusammenarbeiten, um offene Probleme in der theoretischen Informatik und anderen Disziplinen zu lösen, neue Beweise zu generieren und KI als vielseitigen Partner im kreatischen Entdeckungsprozess zu etablieren.
Die Arbeit stellt Aletheia vor, einen autonomen mathematischen Forschungsagenten, der auf dem Gemini Deep Think-Modell basiert und durch iterative Generierung, Verifizierung und Revision von Lösungen in natürlicher Sprache sowohl Olympiadaufgaben als auch komplexe Forschungsarbeiten, einschließlich vollständig KI-generierter und kollaborativer wissenschaftlicher Beiträge, bewältigt.
Die Arbeit stellt DataChef-32B vor, ein System, das mittels Reinforcement Learning automatisch optimale Datenrezepte zur Anpassung von Large Language Models generiert und dabei die Leistung menschlicher Experten erreicht oder sogar übertrifft.
Diese Studie widerlegt die Illusion einer objektiven „Ground Truth" in der Datenannotation, indem sie aufzeigt, wie systematische Verzerrungen und der Druck zur Konsensbildung menschliche Meinungsverschiedenheiten als Rauschen unterdrücken, und fordert stattdessen eine pluralistische Infrastruktur, die kulturelle Vielfalt als essenzielles Signal anerkennt.
Das Paper stellt IntelliAsk vor, ein Modell, das durch Bestärkendes Lernen mit einer speziell entwickelten Belohnungsfunktion (IntelliReward) und einem optimierten Trainingsverfahren (DAPO) hochwertige, evidenzbasierte Forschungsfragen generiert, die menschlichen Gutachterstandards entsprechen und gleichzeitig die allgemeinen Fähigkeiten des Modells verbessern.
Dieses Papier stellt ein überarbeitetes Annotationschema für die cross-document Coreferenzresolution vor, das lexikalische Vielfalt und Framing-Variationen in Nachrichten durch die Behandlung von Coreferenzketten als Diskurselemente berücksichtigt und durch die Neuanotation des NewsWCL50-Datensatzes sowie eines ECB+-Teils eine ausgewogenere Grundlage für die Forschung schafft.
Die Studie widerlegt die weit verbreitete Annahme, dass Sprach-LLMs ASR-LLM-Pipelines überlegen sind, und zeigt durch mechanistische Analysen, dass diese Modelle in den meisten Anwendungsfällen lediglich teure Kaskaden darstellen, die unter Rauschbedingungen sogar schlechter abschneiden als ihre textbasierten Pendants.
Diese Studie führt neue Metriken für „Text-to-Big SQL" ein, um zu zeigen, dass herkömmliche Text-to-SQL-Benchmarks die Kosten- und Leistungsauswirkungen von LLM-Agenten bei großen Datenmengen nicht erfassen, und bietet detaillierte Einblicke in die Effizienz frontier-Modelle.
Diese Arbeit erklärt das Phänomen des Modality Collapse in multimodalen LLMs als Informationsverlust durch fehlende Übereinstimmung zwischen Quell- und Textdaten, wobei die zugängliche Information durch die Generalisierte Gegenseitige Information begrenzt ist und primär vom Trainingsziel des Decoders abhängt, nicht von der Encoder-Architektur.
Die Arbeit stellt CoME vor, ein neuartiges Agenten-Architekturkonzept, das durch spezialisierte Experten, eine progressive Trainingsstrategie und einen informationsgeleiteten DPO-Ansatz die hybriden Reasoning-Fähigkeiten mobiler Agenten für eine präzisere Aufgabenausführung verbessert.
Die Arbeit stellt Aletheia vor, eine browserbasierte Erweiterung, die mittels Large Language Models und Retrieval-Augmented Generation Fake News nicht nur erkennt, sondern durch evidenzbasierte Erklärungen, einen Diskussionsraum und aktuelle Faktenchecks transparent und nutzerzentriert bekämpft.
Der Paper stellt Omni-C vor, einen einzigen dichten Transformer-Encoder, der durch unimodales kontrastives Vor-Training auf großen unalignierten Daten heterogene Modalitäten wie Bilder, Audio und Text effizient in gemeinsamen Repräsentationen vereint und dabei den Bedarf an Mixture-of-Expert-Architekturen, gepaarter Überwachung oder Routing-Overhead eliminiert.
Diese Arbeit untersucht die strukturelle Äquivalenz und Effizienz von grammatikbeschränktem Decodieren, indem sie einen Invarianzsatz für Orakel beweist, strukturelle Mehrdeutigkeitskosten quantifiziert, untere Schranken für den Rechenaufwand herleitet und die Verzerrung durch Hard-Masking mittels Doob-h-Transform analysiert, um Optimierungsmöglichkeiten für Transformer-Architekturen aufzuzeigen.