11913 Arbeiten
Diese Arbeit analysiert theoretisch die Vor- und Nachteile von Reinforcement Learning für die Planung in Sprachmodellen und zeigt, dass Exploration entscheidend für die Generalisierung ist, während Policy Gradient zu einem Diversitätsverlust führt, wohingegen Q-Learning durch Off-Policy-Lernen und Diversitätserhaltung Vorteile bietet, sofern die Belohnungsfunktion sorgfältig gestaltet wird.
Diese Arbeit schließt die Lücke zwischen Versprechen und Leistung bei der FP4-Quantisierung, indem sie den neu entwickelten MR-GPTQ-Algorithmus mit spezialisierten GPU-Kernen einführt, der durch Block-Hadamard-Transformationen und formatoptimierte Techniken auf NVIDIA-B200- und RTX5090-Hardware eine bis zu 4-fache End-to-End-Beschleunigung bei gleichzeitiger Erhaltung oder Steigerung der Genauigkeit ermöglicht.
Die Arbeit stellt CREPE vor, eine flexible Methode zur Steuerung von Diffusionsmodellen während der Inferenz durch Replica Exchange, die im Vergleich zu bisherigen Sequential-Monte-Carlo-Ansätzen sequenzielle Partikelgenerierung, hohe Probenvielfalt und die Möglichkeit zur Online-Verfeinerung bietet.
Diese Arbeit stellt das erste Benchmark für die Bewertung von Schrödinger-Brücken auf diskreten Räumen vor, indem sie analytisch lösbare Verteilungspaare bereitstellt, und leitet daraus neue Algorithmen sowie eine umfassende Evaluierung bestehender und neu entwickelter Solver in hochdimensionalen diskreten Settings ab.
Die Arbeit stellt einen neuen Ansatz vor, der Diffusionsmodelle durch gezielte Formung der Verteilung auf Zwischen-Rauschstufen (P-GRAFT) und eine inverse Rauschkorrektur effizienter feinabstimmt und dabei sowohl die Leistung bei Text-zu-Bild-Generierung als auch die Bildqualität bei unbedingter Generierung verbessert.
Die vorgestellte Arbeit entwickelt einen leichten und interpretierbaren Transformer-ähnlichen Klassifikator für EEG-Signale, der durch das Entfalten eines spektralen Denoising-Algorithmus auf balancierten Vorzeichen-Graphen Epilepsiepatienten von gesunden Probanden mit vergleichbarer Genauigkeit wie tiefe neuronale Netze, jedoch bei deutlich geringerem Parametervolumen, unterscheidet.
Das Paper stellt AdaBet vor, eine gradientenfreie Methode zur effizienten Auswahl wichtiger Schichten für das On-Device-Training tiefer neuronaler Netze durch Analyse topologischer Aktivierungseigenschaften mittels Betti-Zahlen, die ohne Labels oder Rückwärtspropagierung auskommt und dabei Speicherbedarf senkt sowie die Genauigkeit steigert.
Das Paper stellt Cache-to-Cache (C2C) vor, ein neues Paradigma für die direkte semantische Kommunikation zwischen großen Sprachmodellen über deren KV-Caches, das im Vergleich zur herkömmlichen Textkommunikation sowohl die Genauigkeit als auch die Latenz signifikant verbessert.
Die Arbeit stellt LaDiR vor, ein neues Reasoning-Framework, das die Ausdruckskraft kontinuierlicher latenter Räume mit den iterativen Verfeinerungsfähigkeiten latenter Diffusionsmodelle kombiniert, um die Genauigkeit, Vielfalt und Interpretierbarkeit von Schlussfolgerungen in großen Sprachmodellen über die Grenzen der autoregressiven Generierung hinaus zu verbessern.
Dieses Paper stellt Post-hoc Stochastic Concept Bottleneck Models (PSCBMs) vor, eine effiziente Methode, die vortrainierte CBMs durch das Hinzufügen eines kleinen Kovarianz-Vorhersagemoduls erweitert, um ohne Nachtraining des Hauptmodells sowohl die Genauigkeit als auch die Robustheit gegenüber Interventionen durch die Modellierung von Konzeptabhängigkeiten zu verbessern.
Diese Arbeit charakterisiert die Multiklassen-Lernbarkeit von vergebenden 0-1-Verlustfunktionen durch die Einführung einer neuen kombinatorischen Dimension, der verallgemeinerten Natarajan-Dimension, deren Endlichkeit eine notwendige und hinreichende Bedingung für die Lernbarkeit darstellt und zudem andere Lernsettings wie Set-valued Feedback und modifiziertes Listenlernen umfasst.
Die Arbeit stellt Energy Landscape Steering (ELS) vor, ein nachschulungsfreies Framework, das durch inferencezeitbasierte Steuerung der Aktivierungsenergie mittels eines externen Energy-Based-Models die Überverweigerung in abgestimmten Sprachmodellen effektiv reduziert, ohne die Sicherheit zu beeinträchtigen.
Die vorgestellte Arbeit führt einen differentierbaren Gauss-Seidel-Projektionsmodul ein, der während des Trainings und der Inferenz physikalische Gültigkeit erzwingt und dadurch ein 2-Schritt-Diffusionsmodell ermöglicht, das in Bezug auf strukturelle Genauigkeit mit 200-Schritt-Baselines gleichzieht, dabei jedoch zehnmal schneller ist und sterische Kollisionen garantiert vermeidet.
Die vorgestellte Arbeit führt die Weight-Activation Subspace Iteration (WASI) ein, eine Methode, die durch das Training von Transformer-Modellen in einem festgelegten Unterraum den Speicherbedarf um das 62-fache und die Rechenkosten um das 2-fache reduziert, wodurch effizientes On-Device-Learning auf ressourcenbeschränkten Geräten wie dem Raspberry Pi 5 ermöglicht wird.
Diese Arbeit stellt Gradient Uniqueness (GNQ) vor, eine effiziente Metrik zur quantitativen Bewertung des Datenschutzrisikos bei der Veröffentlichung von LLMs, die durch den neu entwickelten Batch-Space Ghost GNQ-Algorithmus eine praktikable, datenpunktgenaue Analyse der Informationslecks während des Trainings ermöglicht.
Diese Arbeit untersucht die Machbarkeit von Quanten-Kernel-Methoden für eine reale Verbraucher-Klassifizierungsaufgabe im NISQ-Regime und stellt einen hybriden Q-SVM-Ansatz vor, der trotz Hardware-Rauschen eine hohe Sensitivität und wettbewerbsfähige Leistung gegenüber klassischen SVMs zeigt.
Diese Arbeit stellt optimierte MPC-Algorithmen für die Multiplikation von geheimgeteilten dünnbesetzten Matrizen vor, die Speicher- und Kommunikationskosten im Vergleich zu dichten Verfahren drastisch senken und so datenschutzkonformes maschinelles Lernen für Anwendungen mit hochdimensionalen dünnbesetzten Daten wie Empfehlungssystemen oder Genomik ermöglichen.
Diese Arbeit liefert den ersten theoretischen Beweis für Policy Transfer im kontinuierlichen Reinforcement Learning, indem sie die Stabilität von Riccati-Gleichungen und der Rough-Path-Theorie nutzt, um zu zeigen, dass eine optimale Policy für ein Problem als Startpunkt für ein ähnliches Problem dienen kann, ohne die Konvergenzrate zu verschlechtern.
Die Arbeit stellt ein Komprimierungsschema für Boosted Decision Trees vor, das durch optimiertes Training und Speicherlayout Modelle mit einem 4- bis 16-fach reduzierten Speicherbedarf erzeugt, um Machine Learning auf ressourcenbeschränkten IoT-Geräten effizient einzusetzen.
Die vorgestellte Arbeit stellt STAN, ein adversarielles räumlich-zeitliches Aufmerksamkeitsnetzwerk, vor, das durch die gemeinsame Modellierung von Hirnkonnektivität und neuronaler Dynamik eine präzise, subjektindividuelle Epilepsie-Anfallsvorhersage mit hoher Sensitivität und niedriger Fehlalarmrate ermöglicht.