335 Arbeiten
Die vorgestellte Arbeit führt ein neues Framework ein, das Large Language Models durch Multi-Boolean-Architekturen darstellt und erstmals eine direkte Feinabstimmung im booleschen Bereich ohne latente Vollpräzisionsgewichte ermöglicht, wodurch die Komplexität gesenkt und die Leistungsfähigkeit im Vergleich zu bestehenden Binärisierungs- und Quantisierungsmethoden erheblich gesteigert wird.
Die vorgestellte Methode ermöglicht eine effektive stratifizierte Stichprobenziehung in hochdimensionalen Räumen, indem sie neuronale aktive Mannigfaltigkeiten nutzt, um die Eingabedimensionen auf einen eindimensionalen latenten Raum zu reduzieren, der eine varianzreduzierende Partitionierung entlang der Modellniveauflächen erlaubt.
Diese Arbeit stellt BWFlow vor, ein neuartiges Flow-Matching-Framework für die Graphengenerierung, das durch die Modellierung der gemeinsamen Entwicklung von Knoten und Kanten mittels Markov-Zufallsfeldern und optimaler Transporttheorie auf der Bures-Wasserstein-Metrik einen glatten Wahrscheinlichkeitspfad schafft, der die Trainingskonvergenz verbessert und die Sampling-Effizienz steigert.
Die Studie zeigt, dass die Rangfolgen führender Sprachmodelle in Systemen wie Chatbot Arena bereits durch das Entfernen eines winzigen Bruchteils der Präferenzdaten (z. B. 0,003 %) instabil werden können, wobei MT-Bench aufgrund von Expertenbewertungen robuster ist und weder Crowd- noch LLM-basierte Bewertungen systematisch anfälliger sind.
Diese Arbeit liefert explizite obere Schranken für die quadratische Wasserstein-Distanz zwischen dem Ausgang eines trainierten einlagigen neuronalen Netzwerks und seiner Gaußschen Näherung, die einen polynomiellen Konvergenzverlauf in Abhängigkeit von der Netzbreite und den Trainingsdynamiken quantifizieren.
Diese Arbeit leitet nicht-asymptotische Schranken für die Effizienz von konformalisierten Regressionsverfahren her, die die gemeinsame Abhängigkeit der Vorhersageintervalllänge von der Trainings- und Kalibrierungsdatengröße sowie dem Misscoverage-Level quantifizieren und Phasenübergänge in den Konvergenzraten aufzeigen.
Diese Arbeit zeigt theoretisch, dass die Geometrie der Daten bei überparametrisierten ReLU-Netzen unterhalb der Stabilitätsgrenze den Generalisierungserfolg bestimmt, indem sie steuert, ob der Gradientenabstieg gemeinsame Muster lernt oder zu einer Memorierung neigt.
Diese Arbeit entwickelt ein prinzipielles statistisches Rahmenwerk für die Hypothesenprüfung übermäßig einflussreicher Datensubsets in der linearen Regression, indem sie exakte Einflussformeln und Extremwertverteilungen nutzt, um rigorose Tests durchzuführen und ad-hoc-Heuristiken zu ersetzen.
Die Studie stellt SACP (Symmetric Aggregated Conformal Prediction) vor, eine neuartige Methode zur effizienten Aggregation von Konformitätswerten mehrerer Vorhersagemodelle durch e-Werte und symmetrische Aggregationsfunktionen, um präzisere und zuverlässigere Unsicherheitsmengen zu erzeugen.
Dieses Papier stellt einen bayesschen nichtparametrischen Ansatz zur Modellierung endlicher Mischungen vor, der Identifizierbarkeitsbedingungen und nahezu polynomielle Konvergenzraten für die Komponentenverteilungen nachweist sowie einen effizienten MCMC-Algorithmus für die Inferenz entwickelt.
Die Arbeit entwickelt eine Minimax-Theorie für das Lernen von Operatoren zwischen Hilbert-Räumen und zeigt, dass selbst bei höheren Regularitätsannahmen wie Hölder-Stetigkeit für generische Lipschitz-Operatoren ein Fluch der Stichprobenkomplexität besteht, der eine algebraische Konvergenzrate der Minimix-Risiken verhindert.
Die Arbeit stellt Latent-IMH vor, eine effiziente Bayessche Inferenzmethode für inverse Probleme mit rechenintensiven Operatoren, die durch die Nutzung einer kostengünstigen Näherung in einer Offline-Phase und eine anschließende Verfeinerung mit dem exakten Operator die Rechenzeit im Vergleich zu State-of-the-Art-Methoden wie NUTS drastisch reduziert.
Die Arbeit stellt einen Variationsrahmen vor, der Transformer-Schichten als Optimierungsalgorithmen interpretiert, und nutzt diese Perspektive, um einen Nesterov-beschleunigten Transformer zu entwickeln, der auf TinyStories und OpenWebText eine bessere Leistung als ein nanoGPT-Baseline erzielt.
Diese Arbeit stellt Algorithmen für das Online-Konformale Vorhersagen bei nicht-stationären Datenströmen vor, die durch Drifterkennung adaptiv Kalibrierungsdaten aktualisieren und damit minimax-optimale trainingsbedingte Regret-Garantien für abrupte Änderungen sowie glatte Drifts erreichen.
Die Arbeit stellt zwei statistisch effiziente Algorithmen für das kontextuelle Online-RLHF mit einem generalisierten bilinearen Präferenzmodell vor, die durch die Ausnutzung der starken Konvexität und der Schief-Symmetrie polylogarithmische bzw. dimensionsunabhängige Regret-Schranken garantieren.
Die Autoren schlagen einen konformen Vorhersagerahmen für graphenbasierte Ausgaben vor, der mithilfe des Z-Gromov-Wasserstein-Abstands und der Score Conformalized Quantile Regression (SCQR) eine verteilungsfreie Unsicherheitsquantifizierung für strukturierte Graphen wie Moleküle ermöglicht.
Die vorgestellte Arbeit führt den FreST-Loss ein, eine frequenzbasierte Trainingsmethode, die mithilfe der gemeinsamen Fourier-Transformation räumliche und zeitliche Abhängigkeiten in Graphdaten gemeinsam im Spektralbereich modelliert und so bestehende Vorhersagemodelle signifikant verbessert.
Diese Studie stellt eine neuartige Methode namens equilibrium-informed neural networks (EINNs) vor, die mithilfe von Deep Neural Networks kritische Schwellenwerte für abrupte Regimewechsel in komplexen dynamischen Systemen effizient identifiziert, indem sie Gleichgewichtszustände als Eingabe nutzt, um die entsprechenden Systemparameter zu inferieren.
Die Studie stellt ein neues Framework namens Dictionary Based Pattern Entropy (DPE) vor, das mithilfe von algorithmischer und Shannon-Informationstheorie kausale Richtungen in symbolischen Zeitreihen durch die Minimierung der Unsicherheit von mustergesteuerten Strukturen zuverlässig identifiziert.
Diese Arbeit untersucht die Kollatz-Stop-Zeit über mittels eines bayesschen hierarchischen Negativ-Binomial-Modells und einer mechanistischen Generatormethode, wobei die Ergebnisse zeigen, dass die Berücksichtigung modularer Restklassen die Verteilungsanpassung erheblich verbessert und das NB2-GLM die höchste Vorhersagegüte erzielt.