1885 Arbeiten
Die Arbeit stellt den effizienten rekursiven Think-Answer-Prozess (R-TAP) vor, der durch einen Konfidenzgenerator und spezifische Belohnungssignale iterative Reasoning-Zyklen ermöglicht, um die Genauigkeit und Stabilität von LLMs und VLMs im Vergleich zu herkömmlichen Single-Pass-Methoden signifikant zu verbessern.
Die Autoren stellen ein neues Surrogat-Modell vor, das sowohl die empirische Häufigkeitsverteilung (Zipf-Gesetz) als auch die langreichweitigen Korrelationen symbolischer Sequenzen wie Sprache und DNA gleichzeitig erhält, indem es fraktales Gaußsches Rauschen über eine frequenzerhaltende Zuordnung auf das empirische Histogramm abbildet.
Die Studie zeigt, dass eine nachhaltige Selbstentwicklung von Sprachmodellen nur durch einen selbstsynthetischen Datenpipeline mit messbarem Informationsgewinn gelingt, der durch asymmetrische Ko-Evolution, Kapazitätswachstum und proaktive Informationssuche erreicht wird.
Die Studie zeigt, dass End-to-End-Sparse-Attention-Modelle durch „Routing-Absorption" scheitern, da sich die gemeinsamen Q/K/V-Parameter so stark an beliebige Masken anpassen, dass gelernte Gating-Mechanismen kaum besser funktionieren als zufällige, weshalb post-hoc-Ansätze zur Entkopplung von Repräsentationslernen und Verdünnung überlegen sind.
Die Studie zeigt, dass bei der Nachschulung von LLM-Agenten Sicherheits-Training auch nachfolgendes Hilfreichkeits-Training überdauert und alle Konfigurationen trotz potenzieller optimaler Strategien auf einer linearen Pareto-Grenze landen, was die Notwendigkeit eines besseren Verständnisses der Nachschulungsdynamik unterstreicht.
Das Paper stellt HELIOS vor, ein System, das die Stärken von früher und später Fusion mit LLM-Reasoning kombiniert, um durch subgraphbasierte Retrieval- und Verfeinerungstechniken die Genauigkeit bei der mehrgranularen Tabellen-Text-Retrieval für offene Fragen signifikant zu verbessern.
Die Studie zeigt, dass das NLLB-200-Modell durch die Analyse seiner Embedding-Geometrie sowohl die genealogische Struktur von Sprachen als auch universelle konzeptuelle Assoziationen und relationale Strukturen über 135 Sprachen hinweg implizit erlernt hat.
Diese Arbeit charakterisiert das Auswendiglernen in Diffusions-Sprachmodellen durch ein verallgemeinertes probabilistisches Extraktionsframework, das theoretisch zeigt, dass die Wahrscheinlichkeit einer exakten Datenwiedergabe mit der Sampling-Auflösung steigt, und empirisch belegt, dass Diffusionsmodelle unter prefix-bedingten Bedingungen weniger personenbezogene Informationen offenlegen als autoregressive Modelle.
Die Studie stellt RO-N3WS vor, ein vielfältiges rumänisches Sprachkorpus aus über 126 Stunden transkribierten Aufnahmen, das nachweislich die Generalisierungsfähigkeit von ASR-Modellen in ressourcenarmen Szenarien verbessert und als offene Ressource für die Forschung bereitgestellt wird.
Die Studie entwickelt ein gerichteter Graph-basierter Modellrahmen und ein experimentelles Design mit synthetischen LLM-generierten Texten, um zu untersuchen, wie Nutzer Zeit-abhängige Textvisualisierungen interpretieren, und stellt dabei fest, dass die Identifizierung vordefinierter Muster herausfordernd ist und eine stärkere Benutzeranpassung erfordert.
Das Paper stellt GLoRIA vor, einen effizienten und interpretierbaren Rahmen für die dialektale automatische Spracherkennung, der Metadaten nutzt, um niedrigrangige Anpassungen in einem vortrainierten Encoder zu steuern und dabei mit weniger als 10 % aktualisierter Parameter state-of-the-art Ergebnisse erzielt.
Die Arbeit stellt MUSE vor, eine Open-Source-Plattform zur multimodalen Sicherheitsevaluierung von großen Sprachmodellen, die durch den Einsatz von Multi-Turn-Angriffen mit Modality-Switching und einer differenzierten Erfolgsmetrik aufzeigt, dass bestehende Sicherheitsausrichtungen oft nicht auf Audio-, Bild- und Videoeingaben verallgemeinern.
Die Arbeit stellt CoDAR vor, ein zweistufiges Framework, das durch die Entkopplung der kontinuierlichen Diffusion im Embedding-Raum von einem kontextabhängigen, autoregressiven Diskretisierer die Leistung von Diffusions-Sprachmodellen signifikant verbessert und sie mit starken diskreten Modellen konkurrenzfähig macht.
Das Paper stellt VC-STaR vor, ein neuartiges Selbstverbesserungs-Framework für Vision-Language-Modelle, das durch die Nutzung kontrastiver Bildpaare Halluzinationen in den Schlussfolgerungen reduziert und so mit dem daraus generierten VisCoR-55K-Datensatz die visuelle Reasoning-Fähigkeit von Modellen signifikant verbessert.
Die Arbeit stellt FlashEvaluator vor, ein effizientes Framework, das durch parallele Verarbeitung und sequenzübergreifenden Informationsaustausch die Genauigkeit und Leistung von Generator-Evaluator-Systemen in Empfehlungssystemen und NLP verbessert und erfolgreich in der Kuaishou-Produktion eingesetzt wird.
Die Arbeit stellt SteerEval vor, ein hierarchisches Benchmark-System zur einheitlichen Evaluierung der Steuerbarkeit von Large Language Models über drei Domänen und Spezifikationsebenen hinweg, das zeigt, dass die Kontrolle bei feineren Granularitäten oft nachlässt.
Das Paper stellt ExpGuard vor, ein spezialisiertes Sicherheitsmodell für Large Language Models in den Bereichen Finanzen, Medizin und Recht, das zusammen mit einem umfangreichen, expertenannotierten Datensatz entwickelt wurde und in Tests signifikant bessere Ergebnisse als bestehende State-of-the-Art-Modelle bei der Erkennung von domain-spezifischen Angriffen erzielt.
Die Arbeit stellt GPUTOK vor, einen GPU-beschleunigten Byte-Level-BPE-Tokenisierer, der auf WikiText103-Daten bei langen Eingaben bis zu 131.000 Token eine bis zu 7,6-fache Geschwindigkeitssteigerung gegenüber bestehenden CPU-basierten Lösungen wie HuggingFace und tiktoken bei gleichbleibender Token-Qualität erreicht.
Diese Studie zeigt, dass die Reproduktion von rekursiven Sprachmodellen (RLMs) zwar komplexe Aufgaben durch eine Rekursionstiefe von 1 verbessert, eine tiefere Rekursion (Tiefe 2) jedoch paradoxerweise die Leistung bei einfachen Aufgaben verschlechtert und die Ausführungszeit sowie die Kosten exponentiell erhöht, was auf ein „Überdenken" der Modelle hindeutet.
StitchCUDA ist ein automatisiertes Multi-Agenten-Framework, das mittels rubrikbasierter agenter Verstärkungslernverfahren end-to-end GPU-Programme generiert und dabei eine nahezu 100-prozentige Erfolgsrate sowie signifikante Geschwindigkeitssteigerungen im Vergleich zu bestehenden Baselines erzielt.