Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning

Die Arbeit zeigt, dass die gerichtete CDNV (Varianz der Entscheidungsachsen) als zentrale geometrische Größe sowohl die starke Few-Shot-Transferfähigkeit als auch die geringe Interferenz bei Multi-Task-Aufgaben in selbstüberwachtem Lernen erklärt, indem sie eine geringe Variabilität entlang klassentrennender Richtungen sicherstellt.

Achleshwar Luthra, Yash Salunkhe, Tomer Galanti2026-03-05✓ Author reviewed 🤖 cs.AI

Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts

Die Studie untersucht die Vor- und Nachteile von Ensembling, Merging und Routing bei der Fusion von parametereffizienten Experten in großen Sprachmodellen und zeigt, dass zwar nicht-uniforme Methoden die Leistung verbessern, Routing jedoch die größten Gewinne bietet, wobei durch Clusterung und greedy-Auswahl die Rechenkosten effektiv gesenkt werden können.

Sanae Lotfi, Lucas Caccia, Alessandro Sordoni + 2 more2026-03-05🤖 cs.LG

Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants

Diese Arbeit stellt einen praktischen Leitfaden zur Bewertung und Optimierung von Multi-Agenten-KI-Einkaufsassistenten vor, der eine mehrdimensionale Evaluierungsrubrik, eine kalibrierte LLM-as-Judge-Pipeline sowie zwei komplementäre Prompt-Optimierungsstrategien (Sub-agent GEPA und MAMuT GEPA) für die Produktionsskalierung umfasst.

Alejandro Breen Herrera, Aayush Sheth, Steven G. Xu + 5 more2026-03-05🤖 cs.AI

Controllable Generative Sandbox for Causal Inference

Das Paper stellt CausalMix vor, ein variationsbasiertes generatives Framework, das durch die Kombination von Misch-Gauß-Verteilungen und datentypspezifischen Dekodern sowohl realistische gemischte tabellarische Daten erzeugt als auch eine präzise, unabhängige Kontrolle über kausale Mechanismen wie Überlappung, Konfundierung und Heterogenität des Behandlungseffekts ermöglicht.

Qi Zhang, Harsh Parikh, Ashley Naimi + 3 more2026-03-05🤖 cs.LG

SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training

Das Paper stellt SENTINEL vor, einen leichten Verifikationsmechanismus auf Basis von Exponential Moving Averages, der die Integrität beim dezentralen Pipeline-Parallel-Training über unzuverlässige Knoten sicherstellt, ohne Berechnungen zu duplizieren, und dabei theoretische Konvergenzgarantien sowie erfolgreiche Experimente mit 4-Milliarden-Parameter-Modellen bietet.

Hadi Mohaghegh Dolatabadi, Thalaiyasingam Ajanthan, Sameera Ramasinghe + 5 more2026-03-05🤖 cs.LG

Hybrid Belief Reinforcement Learning for Efficient Coordinated Spatial Exploration

Diese Arbeit stellt einen hybriden Belief-Reinforcement-Learning-Ansatz vor, der die räumliche Unsicherheitsschätzung mittels Log-Gaussian-Cox-Prozessen mit dem effizienten Trajektorienlernen eines Soft Actor-Critic-Agenten kombiniert, um durch dualen Wissenstransfer und koordinierte Abdeckung die Leistung mehrerer autonomer Agenten bei der Erkundung heterogener räumlicher Nachfrage signifikant zu verbessern.

Danish Rizvi, David Boyle2026-03-05🤖 cs.LG