1077 Arbeiten
Die Studie zeigt, dass Sprachmodelle durch Feinabstimmung lernen können, Eingriffe durch Aktivitätssteuerung zu erkennen und die eingefügten Konzepte zu identifizieren, was die Annahme widerlegt, dass solche Manipulationen für das Modell unsichtbar bleiben, und gleichzeitig die langfristige Zuverlässigkeit von steuerungsbasierten Sicherheitsbewertungen infrage stellt.
Die Arbeit stellt FlyThinker vor, ein effizientes Framework für die personalisierte Langtextgenerierung, das durch paralleles, latentes Token-Level-Reasoning während des Generierungsprozesses eine dynamische Anpassung an individuelle Benutzerpräferenzen ermöglicht und dabei sowohl Trainings- als auch Inferenzeffizienz bewahrt.
Das Paper stellt ReFusion vor, ein neuartiges Masked-Diffusion-Modell, das durch die Integration von Sequenzreorganisation in den kausalen Aufmerksamkeitsrahmen paralleles Slot-Level-Decoding ermöglicht, wodurch es sowohl die Ineffizienz von KV-Caching als auch die Lernkomplexität überwindet und gleichzeitig die Leistung früherer Diffusionsmodelle deutlich übertrifft und sich der Geschwindigkeit von autoregressiven Modellen annähert.
Die Arbeit stellt RePo vor, eine neuartige Methode zur dynamischen Neupositionierung von Kontext-Token in Sprachmodellen, die auf der Kognitiven Lasttheorie basiert und durch die Reduzierung unnötiger kognitiver Belastung die Leistung bei Aufgaben mit verrauschtem Kontext, strukturierten Daten und längeren Eingaben verbessert.
Die Studie stellt MCP-SafetyBench vor, ein umfassendes Benchmark auf Basis realer MCP-Server, das die Sicherheitsrisiken aktueller LLMs in realistischen, mehrstufigen Szenarien aufdeckt und zeigt, dass alle getesteten Modelle trotz eines Sicherheits-Nutzen-Kompromisses anfällig für MCP-spezifische Angriffe bleiben.
Die Studie zeigt, dass große Sprachmodelle in textbasierten Umgebungen als implizite Weltmodelle fungieren können, die durch kohärente Zustandsvorhersage und Skalierbarkeit die Leistung von Agenten verbessern, wobei der Erfolg jedoch stark von der Verhaltensabdeckung und der Komplexität der Umgebung abhängt.
Das Papier stellt Parallel Token Prediction (PTP) vor, ein Framework, das durch die Verschiebung der Zufälligkeit auf Eingangsvariablen mehrere Token in einem einzigen Vorwärtsdurchlauf deterministisch vorhersagt und so eine 2,4-fache Beschleunigung der Autogenerierung erreicht.
Die Studie zeigt, dass der Einsatz von Planung und externen Tools bei Large Language Models zwar die Genauigkeit bei komplexen Faktenfragen (Event-QA) erheblich steigern kann, jedoch oft zu drastischen Latenz- und Kostensteigerungen führt, während bei persuasiven Aufgaben (CMV) einfache One-Shot-Prompting-Ansätze effizienter und effektiver sind, was die Notwendigkeit einer aufgaben- und kostenbewussten Auswahl von Modellgröße und Agentenkomplexität unterstreicht.
Die Arbeit stellt NeuronLLM vor, ein neuartiges Framework zur Identifizierung von „guten" und „schlechten" Neuronen in Large Language Models auf Aufgabenebene, das durch kontrastives Lernen und erweiterte Fragestellungen die Leistungsfähigkeit bestehender Methoden zur Steuerung und zum Verständnis von LLMs übertrifft.
Die Arbeit stellt F-Actor vor, das erste offene, instruktionsfolgende Voll-Duplex-Sprachmodell, das durch einfaches Fine-Tuning eines Sprachmodells bei gefrorenem Audio-Encoder mit nur 2.000 Stunden Daten trainiert werden kann und eine effiziente, ressourcenschonende Kontrolle über Stimmlage, Gesprächsthema und interaktives Verhalten ermöglicht.
Die Studie zeigt, dass große Sprachmodelle durch das Erkennen struktureller Muster auch in bedeutungslosen Texten („Jabberwocky") Sinn erschließen können, was die These untermauert, dass Mustererkennung ein wesentlicher Bestandteil echter Intelligenz und nicht bloß eine Imitation ist.
Das Paper stellt Yuan3.0 Ultra vor, ein Open-Source-Mixture-of-Experts-LLM mit 1010 Milliarden Parametern, das durch den neu entwickelten Layer-Adaptive Expert Pruning (LAEP)-Algorithmus die Vortrainierungseffizienz um 49 % steigert und gleichzeitig führende Leistungen in Unternehmensszenarien erzielt.
Die Studie zeigt, dass aktuelle multimodale Basis-Modelle bei der Identifizierung kontextuell wichtiger Momente in Fußballvideos kaum besser als Zufall sind, da sie oft auf eine einzelne dominante Modalität angewiesen sind und keine effektive Synthese aus mehreren Quellen leisten, was den Bedarf an modularen Architekturen und ergänzenden Trainingsverfahren unterstreicht.
Die Arbeit stellt das Framework „On-Policy Self-Distillation" (OPSD) vor, bei dem ein einziges großes Sprachmodell durch den Vergleich seiner eigenen Antworten mit privilegierten Lösungswegen als sowohl Lehrer als auch Schüler fungiert, um die mathematische Schlussfolgerungsfähigkeit effizienter zu verbessern als herkömmliche Methoden.
Die Arbeit stellt VIP vor, eine adaptive Strategie zur Zuweisung von Rollouts im Online-Reinforcement-Learning mit verifizierbaren Belohnungen, die mithilfe von Gauß-Prozessen die Varianz der Gradienten schätzt und den Rechenbudget durch eine konvexe Optimierung minimiert, um die Sampling-Effizienz und Leistung im Vergleich zu einheitlichen Zuweisungsmethoden zu steigern.
Die Arbeit stellt LatentChem vor, ein Verfahren, das chemisches Schlussfolgern von der diskreten Textgenerierung entkoppelt und stattdessen eine effiziente, kontinuierliche latente Reasoning-Umgebung nutzt, wodurch sowohl die Genauigkeit als auch die Inferenzgeschwindigkeit im Vergleich zu herkömmlichen Chain-of-Thought-Ansätzen erheblich gesteigert werden.
Diese Arbeit zeigt, dass Schema-Guided Dialogue und das Model Context Protocol zwei Erscheinungsformen eines einheitlichen Paradigmas für deterministische LLM-Interaktionen darstellen, und leitet daraus fünf Gestaltungsprinzipien ab, um Lücken in der Fehlerdokumentation und Tool-Verknüpfung zu schließen und eine skalierbare Governance für Software 3.0 zu ermöglichen.
Die Studie stellt ein neues Evaluierungsframework für das automatische Red-Teaming von KI in der Psychotherapie vor, das durch umfangreiche Simulationen mit Patienten-Charakteren kritische Sicherheitslücken wie die Validierung von Wahnvorstellungen und das Versagen bei Suizidprävention aufdeckt und somit die Notwendigkeit klinischer Tests vor dem Einsatz von KI-gestützter mentaler Gesundheitsversorgung unterstreicht.
Das Paper stellt JAILBREAK FOUNDRY (JBF) vor, ein Multi-Agenten-System, das Sicherheitslücken-Forschungspapiere automatisch in ausführbare Module übersetzt, um durch eine standardisierte Infrastruktur reproduzierbare und vergleichbare Benchmarks für die Robustheit von Large Language Models zu ermöglichen.
Die Arbeit stellt ReGFT vor, eine Methode, die menschliche Referenzlösungen nutzt, um positive Lernpfade für schwierige mathematische Probleme zu synthetisieren und so die Reward-Sparsity bei Reinforcement Learning zu überwinden, was zu schnellerem Training und besseren Ergebnissen führt.