7788 Arbeiten
Die Studie untersucht praktische In-Training-Sicherheitsmaßnahmen gegen emergente Fehljustierung in Sprachmodellen und zeigt, dass das gezielte Einmischen von Trainingsdaten basierend auf dem Perplexitäts-Abstand zwischen ausgerichteten und fehljustierten Modellen die beste Balance zwischen Sicherheit und Leistung bietet.
Die Studie zeigt, dass die Rangfolgen führender Sprachmodelle in Systemen wie Chatbot Arena bereits durch das Entfernen eines winzigen Bruchteils der Präferenzdaten (z. B. 0,003 %) instabil werden können, wobei MT-Bench aufgrund von Expertenbewertungen robuster ist und weder Crowd- noch LLM-basierte Bewertungen systematisch anfälliger sind.
Diese Studie zeigt, dass Quantisierung die Bias-Eigenschaften von Large Language Modellen differenziert beeinflusst, indem sie zwar die Toxizität verringert, aber bei aggressiver Komprimierung Stereotype und Ungerechtigkeiten in generativen Aufgaben tendenziell leicht verstärkt.
Diese umfassende Studie untersucht den Einsatz von Multi-Agenten-Reinforcement-Learning in intelligenten Verkehrssystemen, indem sie eine strukturierte Taxonomie der Methoden, Anwendungen in Schlüsselbereichen wie der Ampelsteuerung und Fahrzeugkoordination sowie verwendete Simulationsplattformen und aktuelle Herausforderungen für den realen Einsatz vorstellt.
Diese Arbeit erklärt die Schwierigkeiten von GNN-basierten SAT-Lösern geometrisch durch negative Graphen-Ricci-Krümmung, die auf Informationsengpässe (Oversquashing) hinweist, und zeigt empirisch, dass diese Krümmung ein starker Indikator für die Problemkomplexität und Generalisierungsfehler ist.
Diese Arbeit schlägt ein neuartiges, auf unbalanciertem Optimal-Transport basierendes Ausrichtungsmodell vor, das die strukturelle Asymmetrie zwischen akustischen und linguistischen Repräsentationen als Detektionsproblem behandelt, um durch präzises Matching und flexible Behandlung von Rauschen die Leistung von ASR-Systemen bei der Wissensübertragung zu verbessern.
Die Arbeit stellt AttnBoost vor, ein interpretierbares Framework, das durch die Integration eines Feature-Level-Aufmerksamkeitsmechanismus in den Gradient-Boosting-Prozess die Vorhersagegenauigkeit und Erklärbarkeit von Einzelhandelsnachfrageprognosen verbessert.
Diese Studie nutzt die persistente GLMY-Homologie, um die Topologie von Reservoirs zu analysieren und durch die Modifikation eindimensionaler Homologiegruppen deren Leistung zu optimieren, wobei sich zeigt, dass die Performance sowohl von der Struktur als auch von der Periodizität der Daten abhängt.
Die Arbeit stellt TabStruct vor, ein umfassendes Evaluierungsframework und Benchmark, das eine neue Metrik namens „global utility" einführt, um die strukturelle Treue tabularer Generatoren auch ohne zugängliche kausale Ground-Truth-Strukturen zu bewerten und dabei 13 Generatoren über 29 Datensätze hinweg analysiert.
Das Paper stellt BabyHuBERT vor, ein selbstüberwachtes, mehrsprachiges Sprachmodell, das auf 13.000 Stunden kindzentrierter Aufnahmen trainiert wurde und bei der Unterscheidung von Sprechertypen in langen, natürlichen Aufnahmen unterrepräsentierter Sprachen deutlich bessere Ergebnisse liefert als bestehende Modelle.
Die Arbeit stellt einen neuartigen Rahmen vor, der Diffusionsmodelle mit energieerhaltender Impedanzregelung verbindet, um durch das Lernen von Null-Kraft-Trajektorien aus Teleoperationsdaten kontaktreiche Manipulationsaufgaben wie das Einstecken von Stiften in Löcher mit hoher Präzision und Generalisierungsfähigkeit zu lösen.
Die Autoren stellen CR-PPO vor, einen Proximal Policy Optimization-Algorithmus, der die herkömmliche Entropie-Regularisierung durch einen selbstregulierenden Komplexitätsbegriff ersetzt, um eine robustere Leistung bei geringerer Hyperparameter-Abhängigkeit zu gewährleisten.
Die Arbeit stellt „Noise-to-Notes" vor, ein diffusion-basiertes generatives Framework für die automatische Schlagzeugtranskription, das durch die Einführung eines annealierten Pseudo-Huber-Verlusts und die Integration von Merkmalen aus Musik-Foundation-Modellen neue State-of-the-Art-Ergebnisse auf mehreren Benchmarks erzielt.
BridgeDrive ist ein neuartiger, ankerbasierter Diffusions-Brücken-Algorithmus für die geschlossene Trajektorienplanung autonomer Fahrzeuge, der durch theoretisch konsistente Prozesse und effiziente ODE-Löser einen neuen State-of-the-Art auf Bench2Drive erreicht.
Die Studie zeigt, dass subliminales Lernen bei der Modell-Distillation durch eine kleine Menge seltener „Divergenz-Token" in frühen Schichten vermittelt wird, die bei Entfernung oder Paraphrasierung des Prompts den Transfer versteckter Vorurteile verhindern.
Das Paper stellt BeyondBench vor, ein Kontaminations-resistentes Evaluierungsframework, das durch algorithmische Generierung mathematisch fundierter Probleme die echten reasoning-Fähigkeiten von Sprachmodellen unabhängig von Trainingsdaten bewertet und dabei signifikante Leistungseinbußen bei steigender Komplexität aufzeigt.
Die Arbeit stellt SphereAR vor, ein autoregressives Bildgenerierungsmodell, das durch die Einschränkung der Latents auf eine Hypersphäre die Varianzstabilität verbessert und damit erstmals reine Raster-Autoregressionsmodelle in der Bildqualität mit Diffusions- und Maskierungsmodellen konkurrieren lässt.
Diese Arbeit liefert explizite obere Schranken für die quadratische Wasserstein-Distanz zwischen dem Ausgang eines trainierten einlagigen neuronalen Netzwerks und seiner Gaußschen Näherung, die einen polynomiellen Konvergenzverlauf in Abhängigkeit von der Netzbreite und den Trainingsdynamiken quantifizieren.
Die Studie stellt eine stabile NVFP4-Pretraining-Methode für große Sprachmodelle vor, die durch Random Hadamard-Transformationen, ein zweidimensionales Quantisierungsschema und stochastisches Runden eine Effizienzsteigerung ermöglicht, ohne die Leistung im Vergleich zu FP8-Baselines zu beeinträchtigen.
OPPO ist ein leichtgewichtiges, modellunabhängiges Framework, das die Effizienz von PPO-basiertem RLHF durch die Überlappung von Pipeline-Schritten mittels intra- und inter-stufiger Techniken signifikant steigert, ohne die Konvergenz zu beeinträchtigen.