1716 Arbeiten
Die Arbeit stellt Grasp Any Region (GAR) vor, ein Multimodales Large Language Model, das durch eine RoI-ausgerichtete Feature-Replay-Technik präzise, kontextbewusste Regionenanalyse und komplexe Mehrfach-Prompt-Interaktionen ermöglicht, wodurch es bestehende Modelle in Bezug auf detailliertes Verständnis und Videotransferfähigkeit übertrifft.
Die Studie stellt EchoMind vor, ein neuartiges, mehrstufiges Benchmark-System zur Evaluierung empathischer Sprachmodelle, das deren Fähigkeit testet, nicht nur den gesprochenen Inhalt, sondern auch emotionale Nuancen in der Stimmlage zu integrieren, und zeigt auf, dass selbst fortschrittliche Modelle bei der Verarbeitung expressiver vokaler Hinweise noch erhebliche Defizite aufweisen.
Die Autoren stellen das „Open Korean Historical Corpus" vor, eine groß angelegte, offen lizenzierte Sammlung von 1,3 Milliarden Token über 1.300 Jahre hinweg, die quantitative Analysen der koreanischen Sprachgeschichte ermöglicht und als Vorab-Trainingskorpus für große Sprachmodelle dient.
Die Studie zeigt, dass Sprachmodelle durch Feinabstimmung lernen können, Eingriffe durch Aktivitätssteuerung zu erkennen und die eingefügten Konzepte zu identifizieren, was die Annahme widerlegt, dass solche Manipulationen für das Modell unsichtbar bleiben, und gleichzeitig die langfristige Zuverlässigkeit von steuerungsbasierten Sicherheitsbewertungen infrage stellt.
Die Arbeit stellt FlyThinker vor, ein effizientes Framework für die personalisierte Langtextgenerierung, das durch paralleles, latentes Token-Level-Reasoning während des Generierungsprozesses eine dynamische Anpassung an individuelle Benutzerpräferenzen ermöglicht und dabei sowohl Trainings- als auch Inferenzeffizienz bewahrt.
Das Paper stellt ReFusion vor, ein neuartiges Masked-Diffusion-Modell, das durch die Integration von Sequenzreorganisation in den kausalen Aufmerksamkeitsrahmen paralleles Slot-Level-Decoding ermöglicht, wodurch es sowohl die Ineffizienz von KV-Caching als auch die Lernkomplexität überwindet und gleichzeitig die Leistung früherer Diffusionsmodelle deutlich übertrifft und sich der Geschwindigkeit von autoregressiven Modellen annähert.
Die Arbeit stellt RePo vor, eine neuartige Methode zur dynamischen Neupositionierung von Kontext-Token in Sprachmodellen, die auf der Kognitiven Lasttheorie basiert und durch die Reduzierung unnötiger kognitiver Belastung die Leistung bei Aufgaben mit verrauschtem Kontext, strukturierten Daten und längeren Eingaben verbessert.
Die Studie stellt MCP-SafetyBench vor, ein umfassendes Benchmark auf Basis realer MCP-Server, das die Sicherheitsrisiken aktueller LLMs in realistischen, mehrstufigen Szenarien aufdeckt und zeigt, dass alle getesteten Modelle trotz eines Sicherheits-Nutzen-Kompromisses anfällig für MCP-spezifische Angriffe bleiben.
Die Studie zeigt, dass große Sprachmodelle in textbasierten Umgebungen als implizite Weltmodelle fungieren können, die durch kohärente Zustandsvorhersage und Skalierbarkeit die Leistung von Agenten verbessern, wobei der Erfolg jedoch stark von der Verhaltensabdeckung und der Komplexität der Umgebung abhängt.
Das Papier stellt Parallel Token Prediction (PTP) vor, ein Framework, das durch die Verschiebung der Zufälligkeit auf Eingangsvariablen mehrere Token in einem einzigen Vorwärtsdurchlauf deterministisch vorhersagt und so eine 2,4-fache Beschleunigung der Autogenerierung erreicht.
Die Studie zeigt, dass der Einsatz von Planung und externen Tools bei Large Language Models zwar die Genauigkeit bei komplexen Faktenfragen (Event-QA) erheblich steigern kann, jedoch oft zu drastischen Latenz- und Kostensteigerungen führt, während bei persuasiven Aufgaben (CMV) einfache One-Shot-Prompting-Ansätze effizienter und effektiver sind, was die Notwendigkeit einer aufgaben- und kostenbewussten Auswahl von Modellgröße und Agentenkomplexität unterstreicht.
Die Arbeit stellt NeuronLLM vor, ein neuartiges Framework zur Identifizierung von „guten" und „schlechten" Neuronen in Large Language Models auf Aufgabenebene, das durch kontrastives Lernen und erweiterte Fragestellungen die Leistungsfähigkeit bestehender Methoden zur Steuerung und zum Verständnis von LLMs übertrifft.
Die Arbeit stellt F-Actor vor, das erste offene, instruktionsfolgende Voll-Duplex-Sprachmodell, das durch einfaches Fine-Tuning eines Sprachmodells bei gefrorenem Audio-Encoder mit nur 2.000 Stunden Daten trainiert werden kann und eine effiziente, ressourcenschonende Kontrolle über Stimmlage, Gesprächsthema und interaktives Verhalten ermöglicht.
Die Studie zeigt, dass große Sprachmodelle durch das Erkennen struktureller Muster auch in bedeutungslosen Texten („Jabberwocky") Sinn erschließen können, was die These untermauert, dass Mustererkennung ein wesentlicher Bestandteil echter Intelligenz und nicht bloß eine Imitation ist.
Das Paper stellt Yuan3.0 Ultra vor, ein Open-Source-Mixture-of-Experts-LLM mit 1010 Milliarden Parametern, das durch den neu entwickelten Layer-Adaptive Expert Pruning (LAEP)-Algorithmus die Vortrainierungseffizienz um 49 % steigert und gleichzeitig führende Leistungen in Unternehmensszenarien erzielt.
Die Studie zeigt, dass aktuelle multimodale Basis-Modelle bei der Identifizierung kontextuell wichtiger Momente in Fußballvideos kaum besser als Zufall sind, da sie oft auf eine einzelne dominante Modalität angewiesen sind und keine effektive Synthese aus mehreren Quellen leisten, was den Bedarf an modularen Architekturen und ergänzenden Trainingsverfahren unterstreicht.
Die Arbeit stellt das Framework „On-Policy Self-Distillation" (OPSD) vor, bei dem ein einziges großes Sprachmodell durch den Vergleich seiner eigenen Antworten mit privilegierten Lösungswegen als sowohl Lehrer als auch Schüler fungiert, um die mathematische Schlussfolgerungsfähigkeit effizienter zu verbessern als herkömmliche Methoden.
Die Arbeit stellt VIP vor, eine adaptive Strategie zur Zuweisung von Rollouts im Online-Reinforcement-Learning mit verifizierbaren Belohnungen, die mithilfe von Gauß-Prozessen die Varianz der Gradienten schätzt und den Rechenbudget durch eine konvexe Optimierung minimiert, um die Sampling-Effizienz und Leistung im Vergleich zu einheitlichen Zuweisungsmethoden zu steigern.
Die Arbeit stellt LatentChem vor, ein Verfahren, das chemisches Schlussfolgern von der diskreten Textgenerierung entkoppelt und stattdessen eine effiziente, kontinuierliche latente Reasoning-Umgebung nutzt, wodurch sowohl die Genauigkeit als auch die Inferenzgeschwindigkeit im Vergleich zu herkömmlichen Chain-of-Thought-Ansätzen erheblich gesteigert werden.
Diese Arbeit zeigt, dass Schema-Guided Dialogue und das Model Context Protocol zwei Erscheinungsformen eines einheitlichen Paradigmas für deterministische LLM-Interaktionen darstellen, und leitet daraus fünf Gestaltungsprinzipien ab, um Lücken in der Fehlerdokumentation und Tool-Verknüpfung zu schließen und eine skalierbare Governance für Software 3.0 zu ermöglichen.