7214 Arbeiten
Die Arbeit stellt den Spectral Sphere Optimizer (SSO) vor, einen effizienten Parallelalgorithmus, der durch die strikte Einhaltung spektraler Beschränkungen für Gewichte und Updates eine vollständige P-Ausrichtung gewährleistet und damit bei der Skalierung großer Modelle eine überlegene Konvergenz und Stabilität im Vergleich zu AdamW und Muon erreicht.
Das Paper stellt EmboTeam vor, ein Framework für die kollaborative Aufgabenerfüllung heterogener Roboterteams, das die semantische Stärke von Large Language Models mit der Zuverlässigkeit klassischer PDDL-Planer und reaktiver Behavior Trees verbindet, um die Erfolgsrate bei komplexen Haushaltsaufgaben signifikant zu steigern.
Die Studie zeigt, dass Nutzer LLM-generierte Beziehungsratschläge als sehr zufriedenstellend, zuverlässig und hilfreich empfinden, was nach der Interaktion zu einer signifikanten Verbesserung ihrer allgemeinen Einstellungen gegenüber KI-Systemen führt.
ButterflyMoE überwindet die lineare Speicherskalierung von Mixture-of-Experts-Modellen auf Edge-Geräten, indem es Experten als geometrische Rotationen eines gemeinsamen ternären Substrats parametrisiert, was bei 256 Experten eine 150-fache Speicherreduktion bei vernachlässigbarem Genauigkeitsverlust ermöglicht.
Das Paper stellt Yuan3.0 Ultra vor, ein Open-Source-Mixture-of-Experts-LLM mit 1010 Milliarden Parametern, das durch den neu entwickelten Layer-Adaptive Expert Pruning (LAEP)-Algorithmus die Vortrainierungseffizienz um 49 % steigert und gleichzeitig führende Leistungen in Unternehmensszenarien erzielt.
Die Studie zeigt, dass aktuelle multimodale Basis-Modelle bei der Identifizierung kontextuell wichtiger Momente in Fußballvideos kaum besser als Zufall sind, da sie oft auf eine einzelne dominante Modalität angewiesen sind und keine effektive Synthese aus mehreren Quellen leisten, was den Bedarf an modularen Architekturen und ergänzenden Trainingsverfahren unterstreicht.
Die Arbeit stellt eine skalierbare Erweiterung von CopulaGNN für die Vorhersage von Kantensignalen in signierten Graphen vor, die durch die effiziente Parametrisierung der Korrelationsmatrix und eine reformulierte bedingte Wahrscheinlichkeitsverteilung die rechnerische Komplexität reduziert und gleichzeitig eine schnelle Konvergenz sowie wettbewerbsfähige Leistung erzielt.
Die Arbeit stellt ME-POIs vor, ein Framework, das durch die Kombination von Sprachmodell-Embeddings mit großen menschlichen Mobilitätsdaten kontextunabhängige POI-Repräsentationen erlernt, die sowohl die Identität als auch die Nutzungsfunktion von Orten erfassen und damit bestehende Ansätze in verschiedenen Kartenerweiterungsaufgaben übertreffen.
Das Paper stellt PerfGuard vor, ein leistungsorientiertes Agenten-Framework für die visuelle Inhaltsgenerierung, das durch Mechanismen wie leistungsabhängige Auswahlmodellierung, adaptive Präferenzaktualisierung und kapazitätsabgestimmte Planungsoptimierung die Planungssicherheit und Ausführungszuverlässigkeit von LLM-Agenten verbessert, indem es die Grenzen und die tatsächliche Performance von Tools systematisch modelliert.
Die Arbeit stellt einen Variationsrahmen vor, der Transformer-Schichten als Optimierungsalgorithmen interpretiert, und nutzt diese Perspektive, um einen Nesterov-beschleunigten Transformer zu entwickeln, der auf TinyStories und OpenWebText eine bessere Leistung als ein nanoGPT-Baseline erzielt.
Die Arbeit stellt MoR vor, ein federiertes Ausrichtungsframework für heterogene Vision-Language-Modelle, das anstelle des Austauschs von Parametern lokale Präferenzen mittels eines Mixture-of-Rewards-Ansatzes und GRPO nutzt, um Datenschutz zu gewährleisten und die Generalisierungsfähigkeit zu verbessern.
Die Arbeit stellt VIP vor, eine adaptive Strategie zur Zuweisung von Rollouts im Online-Reinforcement-Learning mit verifizierbaren Belohnungen, die mithilfe von Gauß-Prozessen die Varianz der Gradienten schätzt und den Rechenbudget durch eine konvexe Optimierung minimiert, um die Sampling-Effizienz und Leistung im Vergleich zu einheitlichen Zuweisungsmethoden zu steigern.
Die Arbeit stellt das neue Problem der explorativen und fokussierten Manipulation (EFM) vor, führt den EFM-10-Benchmark sowie die Bimanual Active Perception (BAP)-Strategie ein und validiert deren Wirksamkeit durch ein neu erstelltes Datenset und Imitationslernen.
Die Studie zeigt, dass Steuervektoren in großen Sprachmodellen aufgrund großer Äquivalenzklassen verhaltensindistinguishbarer Interventionen grundsätzlich nicht identifizierbar sind, was fundamentale Grenzen der Interpretierbarkeit aufdeckt und die Notwendigkeit struktureller Einschränkungen jenseits von Verhaltensanalysen unterstreicht.
Die Arbeit stellt LatentChem vor, ein Verfahren, das chemisches Schlussfolgern von der diskreten Textgenerierung entkoppelt und stattdessen eine effiziente, kontinuierliche latente Reasoning-Umgebung nutzt, wodurch sowohl die Genauigkeit als auch die Inferenzgeschwindigkeit im Vergleich zu herkömmlichen Chain-of-Thought-Ansätzen erheblich gesteigert werden.
Die Arbeit stellt TAPINN vor, einen Topologie-bewussten Physics-Informed Neural Network-Ansatz, der durch überwachtes metrisches Regularisieren und einen alternierenden Optimierungsprozess die Modellierung von dynamischen Systemen mit scharfen Regimewechseln verbessert und dabei signifikant niedrigere physikalische Residuen sowie eine stabilere Konvergenz im Vergleich zu Standard-PINNs und Hypernetzwerken erreicht.
Die Studie zeigt, dass die Integration von Kolmogorov-Arnold-Netzwerken (KANs) in hard-constrained recurrent physics-informed Architekturen im Vergleich zu herkömmlichen MLPs aufgrund von Hyperparameter-Fragilität, Instabilität in tieferen Schichten und Versagen bei multiplikativen Termen für die Entdeckung nichtlinearer physikalischer Residuen ungeeignet ist.
Die vorgestellte Arbeit entwickelt einen erklärbarkeitsgesteuerten aktiven Lernansatz für die medizinische Bildanalyse, der durch die Kombination von Klassifikationsunsicherheit und der Ausrichtung auf radiologisch relevante Regionen die Dateneffizienz und klinische Interpretierbarkeit von Modellen signifikant verbessert.
Die Arbeit stellt Pailitao-VL vor, ein einheitliches, multimodales Suchsystem für die Industrie, das durch einen Wechsel von kontrastivem Lernen zu einer absoluten ID-Erkennung und eine kalibrierte, listenbasierte Neuordnung sowohl die Präzision als auch die Echtzeit-Effizienz bei der Produktsuche auf der Alibaba-Plattform signifikant verbessert.
Die Studie stellt „Zombie Agents" vor, eine persistente Angriffsmethode auf sich selbst weiterentwickelnde LLM-Agenten, bei der über manipulierte Webinhalte schädliche Payloads in das Langzeitgedächtnis eingeschleust werden, um den Agenten auch über mehrere Sitzungen hinweg zu kontrollieren und damit herkömmliche, nur pro Sitzung wirkende Abwehrmechanismen zu umgehen.