11279 Arbeiten
Die Arbeit untersucht die asymptotische Leistung von Best-of--Ensembles für Large Language Models bei unendlicher Stichprobengröße und schlägt einen adaptiven, gewichteten Ansatz vor, der die Inferenzkosten effizient steuert und durch optimale Modellkombinationen die Leistung einzelner Modelle übertrifft.
Die Arbeit stellt CAD-Tokenizer vor, ein Framework, das durch modality-spezifische Tokenisierung und primitive-basierte Kodierung die Text-zu-CAD-Generierung und -Bearbeitung verbessert, indem sie die strukturellen Semantiken von CAD-Modellen besser erfasst als herkömmliche LLM-Tokenisierer.
Diese Arbeit stellt einen Ansatz vor, bei dem ein reasoning-fähiger LLM-Agent mittels eines agentic-Setups kleine tabellarische Datensätze in interpretierbare, faire und leichtgewichtige Entscheidungsbäume überführt, die mit state-of-the-art Black-Box-Modellen konkurrieren können.
Dieses Papier stellt eine neue Formulierung des -Means-Clustering-Problems als glatte, unbeschränkte Optimierung auf einer Untermannigfaltigkeit vor, die durch einen zweiten Ordnung Riemannschen Newton-Algorithmus mit kubischer Regularisierung effizient gelöst wird und dabei eine signifikant schnellere Konvergenz als bestehende erste-Ordnung-Methoden bei gleicher statistischer Genauigkeit erreicht.
Die Studie stellt Ssiuu vor, eine neue Methode zum maschinellen Vergessen, die durch attributionsgesteuerte Regularisierung oberflächliche Verdrängung vermeidet und sensitive Daten in großen Sprachmodellen zuverlässig und dauerhaft löscht, um deren Wiederauftauchen bei nachfolgendem Training zu verhindern.
Die Arbeit entlarvt die Verzerrung herkömmlicher Evaluierungsprotokolle im Class Incremental Learning durch unzureichende Sequenzstichproben und stellt EDGE vor, ein neues Verfahren, das mittels inter-task-Ähnlichkeit extreme Sequenzen identifiziert, um die wahre Leistungsverteilung präziser abzubilden.
Das Paper stellt Uni-NTFM vor, ein einheitliches Fundamentmodell für EEG-Signale, das durch die Integration neurobiologischer Prinzipien wie heterogener Merkmalsprojektion, topologischer Einbettung und eines Mixture-of-Experts-Transformers auf 28.000 Stunden Daten trainiert wurde und in neun Downstream-Aufgaben bestehende Modelle übertrifft.
Die Studie zeigt, dass ECG-Foundation-Modelle die Effizienz bei der Auswertung von EKGs erheblich steigern können, wobei die Architektur (insbesondere bei ECG-CPC) einen größeren Einfluss auf die Leistung hat als die reine Skalierung, obwohl signifikante Lücken in der Vorhersage von Krankheitsverläufen und der Patientenkarakterisierung bestehen.
Diese Arbeit führt den Lernbegriff „Online Learning with Replay Adversary" ein, in dem ein Lerner mit selbstannotierten, fehlerhaften Daten konfrontiert wird, und beweist, dass die „Extended Threshold dimension" die exakte Grenze für die Lernbarkeit darstellt, wobei ein closure-basierter Algorithmus eine optimale Fehlerrate erreicht, während klassische Algorithmen und Proper Learning in diesem Szenario versagen.
Diese Arbeit verbessert bestehende Algorithmen für lineare Algebra-Aufgaben mit Kernel-Matrizen durch den Einsatz von Dichteschätzung, wodurch die Abhängigkeit von der Datenmenge und dem Fehler signifikant reduziert wird, und ergänzt diese Ergebnisse durch untere Schranken, die die Grenzen dieser Ansätze aufzeigen.
FLOWR.root ist ein SE(3)-äquivarianter Flow-Matching-Grundlagenmodell, das die strukturbewusste 3D-Generierung von Liganden mit der Vorhersage von Bindungsaffinität und Konfidenzschätzung vereint und durch effizientes Fine-Tuning sowie Inferenz-Skalierung einen umfassenden Ansatz für den strukturbasierten Wirkstoffentwurf von der Hit-Identifizierung bis zur Leitstrukturoptimierung bietet.
Die Autoren stellen Cell-Mechanistic Neural Networks (Cell-MNN) vor, ein vollständig end-to-end trainierbares Encoder-Decoder-Modell, das die Dynamik der zellulären Differenzierung durch eine lokal linearisierte ODE abbildet, um skalierbare Vorhersagen und biologisch interpretierbare Geninteraktionen zu ermöglichen.
Das Paper stellt ELMUR vor, eine Transformer-Architektur mit strukturierter externer Speicherprozedur, die durch bidirektionale Cross-Attention und ein LRU-basiertes Update-Verfahren langfristige Abhängigkeiten in teilweise beobachtbaren Umgebungen effektiv modelliert und damit bei Langzeit-Robotersteuerungsaufgaben signifikant bessere Ergebnisse als bestehende Baselines erzielt.
Die Arbeit stellt „Value Flows" vor, eine neue Methode im Bereich des Distributional Reinforcement Learning, die mithilfe flexibler Flow-basierter Modelle und eines neuartigen Flow-Matching-Ziels die gesamte Verteilung zukünftiger Belohnungen schätzt, um Unsicherheiten zu quantifizieren und die Entscheidungsfindung in verschiedenen Umgebungen signifikant zu verbessern.
Diese Arbeit stellt ein neuartiges geometrisches Rahmenwerk vor, das das logische Denken von Large Language Models als glatte Flüsse im Repräsentationsraum modelliert und zeigt, dass diese Modelle logische Invarianten unabhängig von ihrer Architektur verinnerlichen, was die These der „stochastischen Papageien" widerlegt.
Die Arbeit stellt ToMCLIP vor, ein neuartiges Framework, das durch die Integration topologieerhaltender Constraints mittels persistenter Homologie die globale Geometrie multilingualer Vision-Language-Embedding-Räume verbessert und so die Verzerrung zugunsten der englischen Sprache sowie die Null-Shot- und Abrufleistung signifikant steigert.
Das Paper stellt Gym-TORAX vor, eine Open-Source-Python-Bibliothek, die es ermöglicht, Reinforcement-Learning-Umgebungen für die Simulation und Steuerung von Plasmen in Tokamaks zu erstellen, indem sie TORAX mit dem Gymnasium-Framework verbindet und so die Forschung im Bereich der Plasmakontrolle, beispielsweise für ITER, erleichtert.
Die Arbeit stellt WeightLens und CircuitLens vor, zwei komplementäre Methoden, die über eine reine Aktivierungsanalyse hinausgehen, indem sie Merkmale direkt aus Gewichten ableiten bzw. deren Interaktionen untersuchen, um die Skalierbarkeit und Robustheit der mechanistischen Interpretierbarkeit von neuronalen Netzen zu verbessern.
Die Arbeit stellt COGS vor, ein dateneffizientes Framework, das durch die Zerlegung von Seed-Fragen in primitive Faktoren und deren systematische Neukombination mit synthetischen Bildern große Mengen an Trainingsdaten für das visuelle Schlussfolgern von Multi-modalen Large Language Models generiert und so deren Leistungsfähigkeit insbesondere bei komplexen, zusammengesetzten Aufgaben erheblich steigert.
Die Studie zeigt, dass die Zuverlässigkeit von Mahalanobis-basierten OOD-Detektoren stark von der geometrischen Struktur des Merkmalsraums abhängt, und führt eine neuartige radiale Skalierung der -Normalisierung ein, um die Detektionsleistung durch gezielte Anpassung der In-Distribution-Geometrie zu verbessern.