Why Adam Can Beat SGD: Second-Moment Normalization Yields Sharper Tails

Diese Arbeit liefert den ersten theoretischen Beweis, dass Adam im Vergleich zu SGD unter der klassischen Annahme beschränkter Varianz durch eine zweite Momenten-Normalisierung eine überlegene Konvergenz mit einer δ1/2\delta^{-1/2}-Abhängigkeit vom Konfidenzparameter δ\delta erreicht, während SGD mindestens eine δ1\delta^{-1}-Abhängigkeit aufweist.

Ruinan Jin, Yingbin Liang, Shaofeng Zou2026-03-10🤖 cs.LG

No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

Die Studie zeigt, dass die Methode CDD zur Erkennung von Datenkontamination in kleinen Sprachmodellen (70M–410M Parameter) in den meisten getesteten Szenarien nur zufällige Ergebnisse liefert und dabei von etablierten Wahrscheinlichkeitsmethoden wie Perplexity und Min-k% Prob übertroffen wird, da ihre Wirksamkeit kritisch von der Entstehung wortwörtlicher Memorierung abhängt.

Omer Sela (Tel Aviv University)2026-03-10💬 cs.CL

ARC-AGI-2 Technical Report

Dieser technische Bericht stellt ein transformerbasiertes System vor, das durch die Kombination von Sequenzmodellierung, gruppenbasierten Augmentierungen, Testzeit-Training mit LoRA und symmetriebewusstem Decodieren die Leistung beim ARC-AGI-2-Problem signifikant verbessert und sich menschlicher Generalisierung annähert.

Wallyson Lemes de Oliveira, Mekhron Bobokhonov, Matteo Caorsi, Aldo Podestà, Gabriele Beltramo, Luca Crosato, Matteo Bonotto, Federica Cecchetto, Hadrien Espic, Dan Titus Salajan, Stefan Taga, Luca Pana, Joe Carthy2026-03-10💬 cs.CL

A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness

Die Studie zeigt, dass LLM-basierte Richter bei der Bewertung der adversären Robustheit von KI-Modellen aufgrund von Verteilungsverschiebungen oft nur zufällige Ergebnisse liefern und viele Angriffe deren Schwächen ausnutzen, weshalb die Autoren mit ReliableBench und JudgeStressTest neue, zuverlässigere Evaluierungsstandards vorschlagen.

Leo Schwinn, Moritz Ladenburger, Tim Beyer, Mehrnaz Mofakhami, Gauthier Gidel, Stephan Günnemann2026-03-10💬 cs.CL

Distributionally Robust Geometric Joint Chance-Constrained Optimization: Neurodynamic Approaches

Diese Arbeit stellt einen neurodynamischen Duplex-Ansatz auf zwei Zeitskalen vor, der mithilfe von Projektionsgleichungen und neuronalen Netzen verteilungsrobuste geometrische gemeinsame Chance-Nebenbedingungs-Optimierungsprobleme mit unbekannten Verteilungen löst und dabei in Wahrscheinlichkeit zum globalen Optimum konvergiert.

Ange Valli (L2S), Siham Tassouli (OPTIM), Abdel Lisser (L2S)2026-03-10🔢 math

Multi-Agent DRL for V2X Resource Allocation: Disentangling Challenges and Benchmarking Solutions

Diese Arbeit entwirft eine systematische Benchmark-Suite, die Multi-Agenten-DRL-Herausforderungen in C-V2X-Ressourcenallokation isoliert und zeigt, dass Robustheit und Generalisierung gegenüber veränderlichen Verkehrstopologien die dominierenden Hürden darstellen, wobei actor-critic-Methoden die besten Ergebnisse erzielen.

Siyuan Wang, Lei Lei, Pranav Maheshwari, Sam Bellefeuille, Kan Zheng, Dusit Niyato2026-03-10🤖 cs.LG

Scaling Strategy, Not Compute: A Stand-Alone, Open-Source StarCraft II Benchmark for Accessible Reinforcement Learning Research

Die Autoren stellen mit dem Two-Bridge Map Suite eine neue Open-Source-Benchmark für StarCraft II vor, die als intermediäre Testumgebung zwischen dem Vollspiel und Minispielen dient, indem sie ökonomische Mechaniken ausschaltet, um Reinforcement-Learning-Forschung unter realistischeren Rechenbudgets zu ermöglichen.

Sourav Panda, Shreyash Kale, Tanmay Ambadkar, Abhinav Verma, Jonathan Dodge2026-03-10🤖 cs.LG

Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness

Die Studie zeigt, dass sich die Wahrheitstreue von Sprachmodellen in nicht verifizierbaren Domänen durch Abstimmungsmethoden oder die Skalierung der Inferenz nicht verbessern lässt, da die Fehler der Modelle stark korreliert sind und Aggregation stattdessen gemeinsame Missverständnisse verstärkt.

Yegor Denisov-Blanch, Joshua Kazdan, Jessica Chudnovsky, Rylan Schaeffer, Sheng Guan, Soji Adeshina, Sanmi Koyejo2026-03-10🤖 cs.LG

Annealed Co-Generation: Disentangling Variables via Progressive Pairwise Modeling

Die Arbeit stellt einen Annealed Co-Generation-Rahmen vor, der durch die Verwendung von paarweisen Diffusionsmodellen und einem dreistufigen Temperierungsprozess eine effiziente und konsistente multivariate Co-Generierung für wissenschaftliche Anwendungen ermöglicht, ohne die Komplexität einer gemeinsamen Hochdimensionalmodellierung zu erfordern.

Hantao Zhang, Jieke Wu, Mingda Xu, Xiao Hu, Yingxuan You, Pascal Fua2026-03-10🤖 cs.LG

Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance

Die Arbeit stellt Evo vor, ein neuartiges Sprachmodell, das autoregressive und diffusionsbasierte Generierung in einem kontinuierlichen evolutionären Rahmen vereint, um durch adaptive Balance zwischen beiden Paradigmen sowohl hohe Generierungsqualität als auch schnelle Inferenz zu erreichen.

Junde Wu, Minhao Hu, Jiayuan Zhu, Yuyuan Liu, Tianyi Zhang, Kang Li, Jingkun Chen, Jiazhen Pan, Min Xu, Yueming Jin2026-03-10🤖 cs.LG