8570 Arbeiten
ButterflyMoE überwindet die lineare Speicherskalierung von Mixture-of-Experts-Modellen auf Edge-Geräten, indem es Experten als geometrische Rotationen eines gemeinsamen ternären Substrats parametrisiert, was bei 256 Experten eine 150-fache Speicherreduktion bei vernachlässigbarem Genauigkeitsverlust ermöglicht.
Das Paper stellt Yuan3.0 Ultra vor, ein Open-Source-Mixture-of-Experts-LLM mit 1010 Milliarden Parametern, das durch den neu entwickelten Layer-Adaptive Expert Pruning (LAEP)-Algorithmus die Vortrainierungseffizienz um 49 % steigert und gleichzeitig führende Leistungen in Unternehmensszenarien erzielt.
Das Paper stellt EGAgent vor, ein agentic Framework, das auf Entitäts-Szenengraphen basiert, um durch strukturierte Suche und hybride visuell-auditive Analyse kontinuierliche, langfristige Ego-Videos für kontextuelle Verständnisaufgaben zu interpretieren und dabei state-of-the-art Ergebnisse auf EgoLifeQA und Video-MME (Long) erzielt.
Die Arbeit stellt das Framework „On-Policy Self-Distillation" (OPSD) vor, bei dem ein einziges großes Sprachmodell durch den Vergleich seiner eigenen Antworten mit privilegierten Lösungswegen als sowohl Lehrer als auch Schüler fungiert, um die mathematische Schlussfolgerungsfähigkeit effizienter zu verbessern als herkömmliche Methoden.
Die Arbeit stellt eine skalierbare Erweiterung von CopulaGNN für die Vorhersage von Kantensignalen in signierten Graphen vor, die durch die effiziente Parametrisierung der Korrelationsmatrix und eine reformulierte bedingte Wahrscheinlichkeitsverteilung die rechnerische Komplexität reduziert und gleichzeitig eine schnelle Konvergenz sowie wettbewerbsfähige Leistung erzielt.
Diese Arbeit liefert eine direkte und vereinfachte Analyse des Muon-Optimierers, die schärfere Konvergenzgarantien für nichtkonvexe Optimierungsprobleme unter weniger restriktiven Annahmen als bisherige Studien etabliert.
Die Arbeit stellt Latent-IMH vor, eine effiziente Bayessche Inferenzmethode für inverse Probleme mit rechenintensiven Operatoren, die durch die Nutzung einer kostengünstigen Näherung in einer Offline-Phase und eine anschließende Verfeinerung mit dem exakten Operator die Rechenzeit im Vergleich zu State-of-the-Art-Methoden wie NUTS drastisch reduziert.
Die Arbeit stellt ME-POIs vor, ein Framework, das durch die Kombination von Sprachmodell-Embeddings mit großen menschlichen Mobilitätsdaten kontextunabhängige POI-Repräsentationen erlernt, die sowohl die Identität als auch die Nutzungsfunktion von Orten erfassen und damit bestehende Ansätze in verschiedenen Kartenerweiterungsaufgaben übertreffen.
Die Arbeit stellt einen Variationsrahmen vor, der Transformer-Schichten als Optimierungsalgorithmen interpretiert, und nutzt diese Perspektive, um einen Nesterov-beschleunigten Transformer zu entwickeln, der auf TinyStories und OpenWebText eine bessere Leistung als ein nanoGPT-Baseline erzielt.
Die vorgestellte Arbeit führt den MiTA-Attention-Mechanismus ein, der durch eine Kombination aus Kompression und Routing effiziente Fast-Weight-Skalierung für lange Sequenzen ermöglicht, indem sie breite MLPs auf Landmark-Abfragen reduziert und deformierbare Experten basierend auf den top-k aktivierten Schlüssel-Wert-Paaren konstruiert.
Die Arbeit stellt VIP vor, eine adaptive Strategie zur Zuweisung von Rollouts im Online-Reinforcement-Learning mit verifizierbaren Belohnungen, die mithilfe von Gauß-Prozessen die Varianz der Gradienten schätzt und den Rechenbudget durch eine konvexe Optimierung minimiert, um die Sampling-Effizienz und Leistung im Vergleich zu einheitlichen Zuweisungsmethoden zu steigern.
Diese Positionspapier plädiert für einen Paradigmenwechsel von der traditionellen modellzentrischen Zeitreihenvorhersage hin zu einem agenten Ansatz (ATSF), der Prognosen als einen dynamischen Prozess aus Wahrnehmung, Planung, Handeln, Reflexion und Gedächtnis neu definiert, um adaptive und iterative Anpassungen zu ermöglichen.
Die Studie zeigt, dass Steuervektoren in großen Sprachmodellen aufgrund großer Äquivalenzklassen verhaltensindistinguishbarer Interventionen grundsätzlich nicht identifizierbar sind, was fundamentale Grenzen der Interpretierbarkeit aufdeckt und die Notwendigkeit struktureller Einschränkungen jenseits von Verhaltensanalysen unterstreicht.
Die Arbeit stellt LatentChem vor, ein Verfahren, das chemisches Schlussfolgern von der diskreten Textgenerierung entkoppelt und stattdessen eine effiziente, kontinuierliche latente Reasoning-Umgebung nutzt, wodurch sowohl die Genauigkeit als auch die Inferenzgeschwindigkeit im Vergleich zu herkömmlichen Chain-of-Thought-Ansätzen erheblich gesteigert werden.
Die Studie zeigt, dass das gezielte Lernen von Embedding-Magnituden durch getrennte Normalisierung von Abfragen und Dokumenten die Leistung von Retrieval- und RAG-Systemen, insbesondere bei der Out-of-Domain-Generalisierung, signifikant verbessert, während dies für Aufgaben mit austauschbaren Eingaben wie STS oder CLIP weniger relevant ist.
Die Arbeit stellt TAPINN vor, einen Topologie-bewussten Physics-Informed Neural Network-Ansatz, der durch überwachtes metrisches Regularisieren und einen alternierenden Optimierungsprozess die Modellierung von dynamischen Systemen mit scharfen Regimewechseln verbessert und dabei signifikant niedrigere physikalische Residuen sowie eine stabilere Konvergenz im Vergleich zu Standard-PINNs und Hypernetzwerken erreicht.
Die Studie zeigt, dass die Integration von Kolmogorov-Arnold-Netzwerken (KANs) in hard-constrained recurrent physics-informed Architekturen im Vergleich zu herkömmlichen MLPs aufgrund von Hyperparameter-Fragilität, Instabilität in tieferen Schichten und Versagen bei multiplikativen Termen für die Entdeckung nichtlinearer physikalischer Residuen ungeeignet ist.
Die Arbeit stellt ProSeCo vor, einen neuartigen Rahmen für selbstkorrigierende Masked Diffusion Models, der durch iterative Korrektur bereits generierter Tokens die Sample-Qualität verbessert und gleichzeitig die Sampling-Effizienz steigert.
Die Studie stellt QTabGAN vor, ein hybrides quanten-klassisches GAN-Modell zur Synthese realistischer tabellarischer Daten, das durch den Einsatz von Quantenschaltungen komplexe Verteilungen erfasst und in verschiedenen Klassifikations- und Regressionsaufgaben signifikante Verbesserungen gegenüber bestehenden Methoden erzielt.
Die Arbeit stellt WeightCaster vor, ein effizientes Framework, das das Problem der Generalisierung außerhalb des Trainingsbereichs durch eine Umformulierung als Sequenzmodellierung im Gewichtsraum löst und dabei realistische, interpretierbare und unsicherheitsbewusste Vorhersagen ohne explizite induktive Biases ermöglicht.