2427 Arbeiten
Die Studie „Distilled Circuits" nutzt mechanistische Interpretierbarkeit, um zu zeigen, dass Wissensdistillation bei Modellen wie DistilGPT2 nicht nur die Ausgabe, sondern auch die internen Berechnungsstrukturen durch Reorganisation und Kompression von Komponenten grundlegend verändert, was weitreichende Folgen für Robustheit und Generalisierung hat.
Die Arbeit stellt Ready2Unlearn vor, einen proaktiven Lernzeit-Ansatz, der Modelle mittels Meta-Learning-Prinzipien so trainiert, dass sie zukünftige Löschungsanforderungen effizienter und prinzipienorientierter erfüllen können, anstatt sich ausschließlich auf reaktive Nachbearbeitung zu verlassen.
Die Arbeit stellt EgoDex vor, das derzeit größte und vielfältigste Datenset für geschickte Manipulation, das aus 829 Stunden egozentrischen Videos mit präzisen 3D-Handtracking-Daten besteht, um das Problem der Datenknappheit im Bereich des Imitationslernens für Robotik zu lösen und Benchmarks für den Fortschritt in diesem Bereich zu etablieren.
Der Artikel stellt FreeKV vor, ein trainingsfreies Framework zur Algorithmen-System-Optimierung, das durch spekulative Abrufverfahren und hybride Speicherkonzepte die Effizienz des KV-Cache-Retrieval für LLMs erheblich steigert, ohne dabei die Genauigkeit zu beeinträchtigen.
Die Arbeit stellt zwei neue Online-Algorithmen für das Entscheidungsorientierte Lernen in dynamischen Umgebungen vor, die durch Regularisierung und Perturbations-Techniken differenzierbare, nicht-konvexe Probleme lösen und erstmals statische sowie dynamische Regret-Schranken garantieren.
Die Arbeit stellt Vid2World vor, einen allgemeinen Ansatz, der vortrainierte Videodiffusionsmodelle durch systematische Kausalität, Architekturänderungen und eine kausale Aktionssteuerung in interaktive Weltmodelle umwandelt, um hochwertige Vorhersagen für komplexe Entscheidungsprozesse zu ermöglichen.
Die Arbeit stellt MAS-ZERO vor, ein bahnbrechendes, selbstentwickelndes Inferenzzeit-Framework, das Multi-Agenten-Systeme ohne Validierungsdatensätze automatisch anpasst und durch dynamische Problemanalyse sowie Meta-Feedback signifikant höhere Genauigkeiten bei Reasoning-, Coding- und Agentenaufgaben im Vergleich zu manuellen und bestehenden automatischen Ansätzen erzielt.
Das Paper stellt HDLxGraph vor, ein Framework, das durch die Integration von Abstract Syntax Trees und Data Flow Graphs in Retrieval-Augmented Generation die Lücken bei der Verarbeitung von Hardware-Beschreibungssprachen schließt und gleichzeitig einen neuen Benchmark namens HDLSearch einführt, um die Genauigkeit von Such-, Debugging- und Vervollständigungsaufgaben signifikant zu verbessern.
Das Paper stellt WikiDBGraph vor, eine umfassende Benchmark-Suite aus 100.000 realen relationalen Datenbanken, die die Lücke zwischen theoretischen kollaborativen Lernansätzen und der praktischen Bewältigung unstrukturierter, fragmentierter Datensilos durch die Einbeziehung des gesamten Datenmanagement-Workflows aufzeigt.
Dieses Paper stellt AgarCL vor, eine auf dem Spiel Agar.io basierende Forschungsplattform für kontinuierliches Reinforcement Learning, die eine nicht-episodische, hochdimensionale Umgebung mit stochastischen Dynamiken bietet und zeigt, dass herkömmliche Methoden sowie spezielle kontinuierliche Lernansätze dort nur begrenzte Verbesserungen erzielen.
Die Studie stellt X-MethaneWet vor, den ersten globalen Benchmark-Datensatz für Feuchtgebiet-Methanemissionen, der physikalische Simulationen mit Felddaten kombiniert, um durch den Einsatz von Deep-Learning-Modellen und Transfer-Learning-Techniken die Genauigkeit und Skalierbarkeit von KI-gestützten Klimamodellen zu verbessern.
Diese Arbeit entwickelt ein theoretisches Rahmenwerk für die optimale Steuerung von Wahrscheinlichkeitsdichten auf Maßräumen, das ein Maximum-Prinzip und die Hamilton-Jacobi-Bellman-Gleichung für unendlichdimensionale Verteilungsräume bereitstellt und durch einen skalierbaren Algorithmus mit tiefen neuronalen Netzen zur Lösung von Großraum-Multi-Agenten-Problemen ergänzt wird.
Die Arbeit stellt VISTA vor, ein trainingsfreies Framework, das multimodale Vision-Language-Modelle nutzt, um durch die Kombination von Text und Diagrammen historische Aktienkurse zu analysieren und zukünftige Werte präziser vorherzusagen als herkömmliche unimodale Ansätze.
Diese Arbeit stellt eine neue Methode vor, die durch das Einfügen von instruction-hierarchie-Signalen in die Zwischendarstellungen von Sprachmodellen die Anfälligkeit für Prompt-Injection-Angriffe im Vergleich zu bestehenden Ansätzen um das 1,6- bis 9,2-fache reduziert, ohne die Nützlichkeit des Modells signifikant zu beeinträchtigen.
Die vorgestellte Arbeit führt OCN (Orthogonal Common Neighbor) ein, eine neue Methode zur Link-Vorhersage, die durch Orthogonalisierung und Normalisierung Redundanz und Over-Smoothing bei höherordentlichen gemeinsamen Nachbarn adressiert und dadurch die Leistung bestehender Ansätze signifikant verbessert.
Die Arbeit stellt ViTaPEs vor, einen Transformer-basierten Ansatz, der durch eine neuartige zweistufige Positionscodierung visuell-taktile Repräsentationen lernt, um die multimodale Ausrichtung zu verbessern und sowohl in verschiedenen Erkennungsaufgaben als auch bei der Generalisierung auf unbekannte Szenarien und Robotergriffaufgaben den aktuellen Stand der Technik zu übertreffen.
Das Paper stellt LoFT vor, eine neue Low-Rank-Adaptionsmethode, die durch die Projektion der Optimierer-Momente in den gleichen Unterraum wie die Gewichtsaktualisierung die Leistung von Full Fine-Tuning erreicht, ohne die Inferenzkosten zu erhöhen oder zusätzliche Hyperparameter zu benötigen.
Die Arbeit stellt Progressive Neural Collapse (ProNC) vor, ein neuartiges Framework für das kontinuierliche Lernen, das durch die schrittweise Erweiterung eines ETF-Ziels ohne starre globale Vorgaben das katastrophale Vergessen effektiv mindert und dabei die Leistung bestehender Basismethoden deutlich übertrifft.
Diese Arbeit stellt eine neuartige, adaptive Korrekturmethode vor, die durch einen leichtgewichtigen lernbaren Operator sicherstellt, dass neuronale Operatoren physikalische Erhaltungssätze strikt einhalten, wodurch sowohl die Genauigkeit als auch die Stabilität bei der Lösung von partiellen Differentialgleichungen im Vergleich zu bestehenden Ansätzen signifikant verbessert werden.
Der Artikel stellt ActivePusher vor, ein Framework, das durch die Kombination von Residual-Physics-Modellierung und unsicherheitsbasiertem Active Learning die Dateneffizienz und Planungserfolgsrate bei nichtgreifenden Manipulationsaufgaben wie Schieben verbessert.