13021 Arbeiten
Das Paper stellt Uni-NTFM vor, ein einheitliches Fundamentmodell für EEG-Signale, das durch die Integration neurobiologischer Prinzipien wie heterogener Merkmalsprojektion, topologischer Einbettung und eines Mixture-of-Experts-Transformers auf 28.000 Stunden Daten trainiert wurde und in neun Downstream-Aufgaben bestehende Modelle übertrifft.
Die Studie zeigt, dass ECG-Foundation-Modelle die Effizienz bei der Auswertung von EKGs erheblich steigern können, wobei die Architektur (insbesondere bei ECG-CPC) einen größeren Einfluss auf die Leistung hat als die reine Skalierung, obwohl signifikante Lücken in der Vorhersage von Krankheitsverläufen und der Patientenkarakterisierung bestehen.
Diese Arbeit führt den Lernbegriff „Online Learning with Replay Adversary" ein, in dem ein Lerner mit selbstannotierten, fehlerhaften Daten konfrontiert wird, und beweist, dass die „Extended Threshold dimension" die exakte Grenze für die Lernbarkeit darstellt, wobei ein closure-basierter Algorithmus eine optimale Fehlerrate erreicht, während klassische Algorithmen und Proper Learning in diesem Szenario versagen.
Diese Arbeit verbessert bestehende Algorithmen für lineare Algebra-Aufgaben mit Kernel-Matrizen durch den Einsatz von Dichteschätzung, wodurch die Abhängigkeit von der Datenmenge und dem Fehler signifikant reduziert wird, und ergänzt diese Ergebnisse durch untere Schranken, die die Grenzen dieser Ansätze aufzeigen.
FLOWR.root ist ein SE(3)-äquivarianter Flow-Matching-Grundlagenmodell, das die strukturbewusste 3D-Generierung von Liganden mit der Vorhersage von Bindungsaffinität und Konfidenzschätzung vereint und durch effizientes Fine-Tuning sowie Inferenz-Skalierung einen umfassenden Ansatz für den strukturbasierten Wirkstoffentwurf von der Hit-Identifizierung bis zur Leitstrukturoptimierung bietet.
Die Autoren stellen Cell-Mechanistic Neural Networks (Cell-MNN) vor, ein vollständig end-to-end trainierbares Encoder-Decoder-Modell, das die Dynamik der zellulären Differenzierung durch eine lokal linearisierte ODE abbildet, um skalierbare Vorhersagen und biologisch interpretierbare Geninteraktionen zu ermöglichen.
Das Paper stellt ELMUR vor, eine Transformer-Architektur mit strukturierter externer Speicherprozedur, die durch bidirektionale Cross-Attention und ein LRU-basiertes Update-Verfahren langfristige Abhängigkeiten in teilweise beobachtbaren Umgebungen effektiv modelliert und damit bei Langzeit-Robotersteuerungsaufgaben signifikant bessere Ergebnisse als bestehende Baselines erzielt.
Die Arbeit stellt „Value Flows" vor, eine neue Methode im Bereich des Distributional Reinforcement Learning, die mithilfe flexibler Flow-basierter Modelle und eines neuartigen Flow-Matching-Ziels die gesamte Verteilung zukünftiger Belohnungen schätzt, um Unsicherheiten zu quantifizieren und die Entscheidungsfindung in verschiedenen Umgebungen signifikant zu verbessern.
Diese Arbeit stellt ein neuartiges geometrisches Rahmenwerk vor, das das logische Denken von Large Language Models als glatte Flüsse im Repräsentationsraum modelliert und zeigt, dass diese Modelle logische Invarianten unabhängig von ihrer Architektur verinnerlichen, was die These der „stochastischen Papageien" widerlegt.
Die Arbeit stellt ToMCLIP vor, ein neuartiges Framework, das durch die Integration topologieerhaltender Constraints mittels persistenter Homologie die globale Geometrie multilingualer Vision-Language-Embedding-Räume verbessert und so die Verzerrung zugunsten der englischen Sprache sowie die Null-Shot- und Abrufleistung signifikant steigert.
Das Paper stellt Gym-TORAX vor, eine Open-Source-Python-Bibliothek, die es ermöglicht, Reinforcement-Learning-Umgebungen für die Simulation und Steuerung von Plasmen in Tokamaks zu erstellen, indem sie TORAX mit dem Gymnasium-Framework verbindet und so die Forschung im Bereich der Plasmakontrolle, beispielsweise für ITER, erleichtert.
Die Arbeit stellt WeightLens und CircuitLens vor, zwei komplementäre Methoden, die über eine reine Aktivierungsanalyse hinausgehen, indem sie Merkmale direkt aus Gewichten ableiten bzw. deren Interaktionen untersuchen, um die Skalierbarkeit und Robustheit der mechanistischen Interpretierbarkeit von neuronalen Netzen zu verbessern.
Die Arbeit stellt COGS vor, ein dateneffizientes Framework, das durch die Zerlegung von Seed-Fragen in primitive Faktoren und deren systematische Neukombination mit synthetischen Bildern große Mengen an Trainingsdaten für das visuelle Schlussfolgern von Multi-modalen Large Language Models generiert und so deren Leistungsfähigkeit insbesondere bei komplexen, zusammengesetzten Aufgaben erheblich steigert.
Die Studie zeigt, dass die Zuverlässigkeit von Mahalanobis-basierten OOD-Detektoren stark von der geometrischen Struktur des Merkmalsraums abhängt, und führt eine neuartige radiale Skalierung der -Normalisierung ein, um die Detektionsleistung durch gezielte Anpassung der In-Distribution-Geometrie zu verbessern.
Das Paper stellt AMiD vor, ein einheitliches Framework für das Wissenstransfer von großen auf kleine Sprachmodelle, das durch eine neuartige, parametrisierbare -Mischungs-Assistentenverteilung und eine generalisierte Divergenzfamilie die Stabilität und Leistung gegenüber bisherigen Ansätzen verbessert.
Die Arbeit stellt MAYA vor, ein auf Multi-Armed-Bandits basierendes sequenzielles Imitationslernmodell, das die Entscheidungen einzelner Bienen bei der Nahrungssuche unter Berücksichtigung ihres begrenzten Gedächtnisses erfolgreich nachbildet und dabei sowohl reale als auch simulierte Daten besser erklärt als herkömmliche Modelle.
Die Studie zeigt theoretisch und empirisch, dass in Transformer-Modellen einer der drei Gewichtsvektoren (Query, Key oder Value) durch die Identitätsmatrix ersetzt werden kann, was die Parameteranzahl um 25 % reduziert, die Optimierung vereinfacht und dennoch eine vergleichbare Leistung erzielt.
Diese Arbeit zeigt, dass sich die implizite Verzerrung von Adam bei inkrementellem Lernen auf separierbaren Daten vom Vollbatch-Verhalten unterscheiden und zu einem -Max-Margin-Classifier führen kann, während Signum unabhängig von der Batch-Größe stets zum -Max-Margin-Classifier konvergiert.
Die Studie stellt CNFP vor, einen neuartigen Ansatz zur Platzierung von Cloud-Nativen Netzwerkfunktionen im Cloud-Continuum, der Diffusionsmodelle mit Graph Neural Networks kombiniert, um unter Einhaltung strenger Ressourcen- und Latenzbedingungen skalierbare und robuste Lösungen zu generieren, die herkömmliche Methoden in Bezug auf Geschwindigkeit und Generalisierungsfähigkeit übertreffen.
NeuCLIP ist ein neuartiges Optimierungsframework, das durch die Umformulierung des CLIP-Verlusts mittels konvexer Analyse und die Approximation der Normalisierungsterme über ein kompaktes neuronales Netz mittels Variationsanalyse eine effiziente und präzise Training von CLIP-Modellen auf großen Datensätzen ermöglicht.