12983 Arbeiten
Der vorgestellte Ansatz „InfoFlow KV" überwindet die Engpässe bei der Inferenz für lange Kontexte in RAG-Systemen, indem er die selektive KV-Neuberechnung als Informationsflussproblem formuliert und mithilfe eines Aufmerksamkeits-Norm-Signals sowie einer kontextsensitiven Chunk-Neuordnung effizient die für die Generierung relevanten Token identifiziert.
Die Arbeit stellt TS-BOSS vor, einen skalierbaren, score-basierten Algorithmus zur Entdeckung kausaler Strukturen in multivariaten Zeitreihen, der durch die Erweiterung der BOSS-Methode mit dynamischen Bayesianischen Netzwerken und Grow-Shrink-Bäumen eine hohe Effizienz und theoretische Fundierung bietet, insbesondere in Regimen mit starker Autokorrelation.
Diese Arbeit stellt ein neuartiges tiefes adversariales Framework vor, das Inter-Subjekt-Variabilität explizit in die adversarielle Aufgabe integriert, um subjektunabhängige Merkmalsrepräsentationen zu erlernen und die Generalisierungsfähigkeit bei der inertialsensorbasierten Aktivitätserkennung zu verbessern.
Die Studie stellt TopKGraphs vor, eine robuste und interpretierbare Methode zur Schätzung von Knotenähnlichkeiten in Netzwerken, die durch jaccard-biasierte Random Walks und Rangaggregation in verschiedenen Szenarien überlegene oder wettbewerbsfähige Ergebnisse im Vergleich zu etablierten Ähnlichkeitsmaßen und Embedding-Ansätzen liefert.
Diese Studie widerlegt die Notwendigkeit lernbarer Restriktionsabbildungen in Sheaf Neural Networks, indem sie zeigt, dass ein einfacher Baseline-Ansatz mit identischen Abbildungen auf heterophilen Graphen vergleichbare Ergebnisse erzielt und das erwartete Überglättungsverhalten nicht empirisch bestätigt wird.
Dieser Artikel bietet eine statistische Übersicht über den Einsatz synthetischer Daten durch generative KI, beleuchtet deren Chancen und methodische Grenzen und leitet daraus Prinzipien sowie praktische Empfehlungen für eine valide Anwendung in Forschung und Praxis ab.
Die Arbeit stellt MobileFetalCLIP vor, einen effizienten 11,4-Millionen-Parameter-Studenten-Modell, das durch eine neuartige selektive repulsive Wissensdistillation trainiert wird und damit einen 304-Millionen-Parameter-Lehrer bei der Analyse fetaler Ultraschallbilder übertrifft, was eine Echtzeit-Anwendung auf mobilen Geräten in ressourcenarmen Umgebungen ermöglicht.
Die Autoren stellen ein neuartiges, inhärent interpretierbares neuronales Netzwerk für medizinische Tabellendaten vor, das durch das Lernen von diskretisierten Prototypen-Teilen klinisch verständliche Vorhersagen trifft und dabei eine mit etablierten Basismodellen vergleichbare Genauigkeit erreicht.
Diese Arbeit stellt ein einheitliches Framework vor, das mithilfe eines byte-level Sequential-Monte-Carlo-Algorithmus mehrere Sprachmodelle zu -Ensembles kombiniert, um Verzerrungen bei der Stichprobenziehung zu vermeiden und die Leistung bei strukturierten Textgenerierungsaufgaben zu verbessern.
Die Arbeit stellt OPSDC vor, eine Methode zur on-policy Selbst-Distillation, die Reasoning-Modelle durch Minimierung der Reverse-KL-Divergenz gegenüber ihren eigenen, durch den Befehl „sei prägnant" gesteuerten Ausgaben dazu anleitet, ihre Denkprozesse automatisch zu komprimieren, wodurch bei gleichzeitiger Verbesserung der Genauigkeit auf Benchmarks wie MATH-500 und AIME 2024 bis zu 59 % der Token eingespart werden.
Die Arbeit stellt Latent Wasserstein Adversarial Imitation Learning (LWAIL) vor, ein neuartiges Framework, das durch die Nutzung eines dynamikbewussten latenten Raums und des Wasserstein-Abstands erfolgreich Expertenniveau erreicht, indem es lediglich ein oder wenige Demonstrationsbeispiele ohne Aktionsdaten benötigt.
Die Studie stellt einen physikalisch konsistenten Ansatz zur Echtzeit-Rekonstruktion quantenmechanischer Zustände aus kontinuierlichen Messdaten vor, der durch eine Kraus-Strukturierte Ausgabeschicht in Kombination mit verschiedenen Sequenzmodellen (insbesondere Kraus-LSTM) die Genauigkeit verbessert und gleichzeitig die Einhaltung physikalischer Gesetze wie Positivität und Spur-Erhaltung garantiert.
Die Arbeit stellt ein einheitliches thermodynamisches Rahmenwerk vor, das durch Posterior-Temperierung induzierte Antwortfunktionen nutzt, um die komplexe Geometrie singulärer statistischer Modelle zu interpretieren und Konzepte wie den realen logarithmischen kanonischen Schwellenwert sowie WAIC und WBIC als thermodynamische Größen zu vereinen.
Die Arbeit stellt SurvHTE-Bench vor, das erste umfassende Benchmark für die Schätzung heterogener Behandlungseffekte in der Überlebensanalyse, das synthetische, semi-synthetische und reale Datensätze nutzt, um verschiedene Methoden unter realistischen Bedingungen rigoros zu vergleichen.
Die Studie zeigt, dass Aktivierungsproben die interne Gewissheit von Reasoning-Modellen bereits frühzeitig erkennen können, bevor diese ihre Schlussfolgerungen offenbaren, und ermöglicht so eine effiziente Reduzierung der Token-Ausgabe durch adaptive Berechnung, während echte Unsicherheit und „Reasoning Theater" unterschieden werden.
Diese Studie nutzt zensierte chinesische Open-Weight-LLMs als Testumgebung, um Techniken zur Förderung von Ehrlichkeit und zur Erkennung von Lügen zu evaluieren, wobei sich zwar einige Methoden als wirksam erweisen, keine jedoch falsche Antworten vollständig eliminieren kann.
Die vorgestellte Arbeit schlägt einen dreistufigen Rahmen vor, der kostengünstige, ungenaue Labels mit überwachtem Vortraining und selbstüberwachtem Feintuning kombiniert, um Optimierungsmodelle effizient zu trainieren und dabei die Gesamtkosten um bis zu 59-fach zu senken sowie Genauigkeit und Konvergenz zu verbessern.
Der Artikel stellt POET-X vor, eine speichereffiziente und skalierbare Variante des POET-Frameworks, die durch optimierte orthogonale Transformationen die Stabilität beim Training großer Sprachmodelle beibehält und deren Vorverarbeitung auf einer einzigen GPU ermöglicht, wo herkömmliche Optimierer wie AdamW an Speicherproblemen scheitern.
RoboPocket ist ein mobiles System, das mithilfe von Augmented Reality und asynchronem Online-Finetuning Robotik-Policies ohne physischen Roboter sofort verbessert, indem es Sammler in die Lage versetzt, gezielt kritische Zustände zu erfassen und so die Dateneffizienz im Vergleich zu Offline-Strategien zu verdoppeln.
Das Paper stellt den Recurrent Action Transformer with Memory (RATE) vor, eine neuartige Transformer-Architektur für Offline-Reinforcement-Learning, die durch einen rekurrenten Speichermechanismus die Leistung in teilweise beobachtbaren Umgebungen mit langen Abhängigkeiten erheblich verbessert und gleichzeitig auf Standard-Benchmarks wettbewerbsfähig bleibt.