2385 Arbeiten
Die Arbeit stellt HTMuon vor, einen optimierten Muon-Algorithmus, der durch heavy-tailed spektrale Korrektur die Leistung von LLMs und Bildklassifizierung verbessert, indem er die Unterdrückung schwerer Verteilungsschwänze im Muon-Update vermeidet und theoretisch als steilster Abstieg unter Schatten-q-Norm-Bedingungen analysiert wird.
Die Studie ADVERSA stellt ein automatisiertes Red-Teaming-Framework vor, das die Degradierung von Sicherheitsguardrails in großen Sprachmodellen über mehrere Gesprächsrunden hinweg als kontinuierliche Trajektorien misst und dabei die Zuverlässigkeit von Bewertungsmodellen sowie das Phänomen früher Jailbreaks in den Vordergrund stellt.
Die Studie wendet erstmals Sparse Autoencoder auf das Zeitreihen-Modell Chronos-T5 an und zeigt durch kausale Feature-Ablation, dass kritische Vorhersagefähigkeiten nicht in den semantisch reichsten, sondern in den mittleren Schichten verankert sind, die abrupte Dynamiken erkennen, während eine progressive Ablation der finalen Schichten die Prognosequalität paradoxerweise verbessert.
Die Studie analysiert das Versprechen und die Grenzen von Large Language Models bei der automatisierten Behebung von Java-Sicherheitslücken und zeigt, dass diese zwar oft funktionale Integrität bewahren, jedoch aufgrund semantischer Missverständnisse in der Hälfte der Fälle sowohl Sicherheits- als auch Funktionsanforderungen verfehlen.
Die Studie zeigt, dass neuronale Netze bei einer mehrdeutigen Zuordnungsaufgabe zunächst eine marginale Verteilung lernen, die durch eine Plateauphase der Entropie stabilisiert wird, bevor sie durch einen scharfen kollektiven Übergang zur vollständigen bedingten Verteilung übergehen, wobei Rauschen und die Datengröße die Dauer dieses Plateaus bestimmen.
Die Arbeit stellt TASER vor, ein dezentrales Verteidigungsframework für UAV-Schwärme, das durch die Analyse und gezielte Filterung spektraler Energieverteilungen in Gradienten effizient und robust gegen ausgeklügelte Backdoor-Angriffe vorgeht, ohne auf komplexe Ausreißererkennung angewiesen zu sein.
Die Studie stellt „Amnesia" vor, einen leichten adversarialen Angriff im Aktivierungsraum, der durch Manipulation interner Transformer-Zustände Sicherheitsmechanismen in offenen Large Language Models umgeht und so die Erzeugung schädlicher Inhalte ohne Nachtraining ermöglicht.
Die vorgestellte Arbeit überwindet die Beschränkung flacher Konzeptmodelle durch die Entwicklung von Multi-Level Concept Splitting (MLCS) zur Entdeckung mehrstufiger Konzept-Hierarchien aus nur grober Überwachung und Deep-HiCEMs als Architektur, die diese Hierarchien für interpretierbare Eingriffe auf verschiedenen Abstraktionsebenen nutzbar macht.
Das Paper stellt KernelSkill vor, ein Multi-Agenten-Framework mit einer dualen Speicherarchitektur, das durch die Nutzung von wissensbasierten Expertenfähigkeiten anstelle impliziter Heuristiken GPU-Kernel-Optimierungen effizienter und interpretierbarer gestaltet und dabei auf dem KernelBench signifikante Geschwindigkeitssteigerungen erzielt.
Die Arbeit stellt ES-dLLM vor, ein trainingsfreies Beschleunigungsframework für Diffusion-Sprachmodelle, das durch das frühzeitige Überspringen weniger wichtiger Token in den unteren Schichten die Inferenzgeschwindigkeit erheblich steigert, ohne die Generierungsqualität zu beeinträchtigen.
Die vorgestellte Arbeit führt einen Multi-Stream-Perturbation-Angriff ein, der durch das gleichzeitige Verflechten mehrerer Aufgabenströme den Sicherheitsabgleich von denkenden LLMs umgeht und dabei zu einem Zusammenbruch des Denkprozesses sowie zu wiederholten Ausgaben führt.
Die Arbeit stellt „Survivability-Aware Execution" (SAE) als eine Middleware-Schicht vor, die für OpenClaw-ähnliche Krypto-Handelsagenten durch die Durchsetzung nicht umgehbarer Invarianten wie Risikobudgets und Staging-Protokolle die Sicherheit vor Ausführungsschäden in unsicheren Skill-Umgebungen gewährleistet und dabei die maximale Drawdown-Rate um über 93 % senkt.
Die Arbeit stellt Equivariant Asynchronous Diffusion (EAD) vor, ein neues Diffusionsmodell, das durch einen adaptiven, asynchronen Denoising-Plan die Hierarchie molekularer Strukturen besser erfasst und gleichzeitig einen molekülweiten Horizont bewahrt, um den Stand der Technik bei der Generierung 3D-molekularer Konformationen zu erreichen.
Die Arbeit stellt Code-Space Response Oracles (CSRO) vor, ein neuartiges Framework, das in Multi-Agenten-Systemen herkömmliche Reinforcement-Learning-Orakel durch Large Language Models ersetzt, um direkt als menschenlesbarer Code generierte, interpretierbare und wettbewerbsfähige Strategien zu ermöglichen.
Die Arbeit stellt einen hardwareeffizienten Ansatz für CNNs vor, der mittels einer „weichen Sparsity"-Strategie und einer MSB-basierten Proxy-Methode als RISC-V-Instruktion signifikante Reduktionen bei MAC-Operationen und Energieverbrauch erreicht, ohne dabei die Genauigkeit zu beeinträchtigen.
Das Papier stellt CLIPO vor, eine Methode zur Verallgemeinerung von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) durch kontrastives Lernen, die die Robustheit und Generalisierungsfähigkeit von Large Language Models verbessert, indem sie inkonsistente Zwischenschritte in korrekten Lösungswegen erkennt und Halluzinationen unterdrückt.
Diese Arbeit beweist, dass die „Lost in the Middle"-Phänomen-U-Kurve bereits bei der Initialisierung von Transformer-Modellen als inhärente geometrische Eigenschaft der kausalen Aufmerksamkeit und Residualverbindungen existiert, unabhängig von Positionscodings oder Training.
Die Arbeit stellt AR-VLA vor, ein autonomes autoregressives Aktions-Expert-Modell, das durch eine langfristige Gedächtnisarchitektur und einen Neu-Ankerungsmechanismus zeitlich konsistente, kontextbewusste Roboteraktionen erzeugt und damit die Grenzen reaktiver Vision-Language-Action-Modelle überwindet.
Die Arbeit stellt ein System vor, das mithilfe spezialisierter KI-Agenten in einem kontinuierlichen Optimierungszyklus die Erstellung und Verbesserung von Datenprodukten automatisiert, indem es Fragen aufzeigt, Qualitätsmetriken überwacht und menschliche Eingriffe ermöglicht, um Vertrauen und Kontrolle zu gewährleisten.
Die Arbeit identifiziert sechs Dimensionen, darunter neuartige Aspekte wie Richtung und Zeitlichkeit, die eine fundamentale operationale Asymmetrie zwischen der Erzeugung und der Erkennung formaler Sprachen aufzeigen, wobei sie die verbreitete Annahme widerlegt, dass Erzeugung immer einfacher sei als Parsing, und die anhaltende Trennung dieser Prozesse in modernen KI-Modellen kritisch beleuchtet.