6152 Arbeiten
Dieses Paper stellt -GaBO vor, eine neue Familie von Bayesian-Optimierungsalgorithmen für das Wahrscheinlichkeitssimplex, die auf informationstheoretischer Geometrie basiert und durch geometrisch angepasste Kernel sowie Optimierer eine überlegene Leistung im Vergleich zu herkömmlichen euklidischen Ansätzen zeigt.
Die Arbeit stellt „In-Context RLVR" vor, eine Methode, die durch die Nutzung von „Evidence Gain" als implizites Belohnungsgewicht die Qualität von Lösungswegen in Large Language Models verbessert, ohne externe Bewertungsmodelle zu benötigen.
Diese Arbeit stellt einen leichtgewichtigen „Pseudo-Projektor" vor, der von der Multigrid-Methode inspiriert ist und als Korrektur für versteckte Repräsentationen in Transformer-Modellen dient, um deren Robustheit gegenüber Rauschen zu erhöhen und das Trainingsverhalten zu verbessern, ohne die Kernarchitektur zu verändern.
Diese Arbeit stellt ein neuartiges hierarchisches Multi-Task-Multi-Fidelity-Framework für Gaußsche Prozesse vor, das durch die gleichzeitige Nutzung von Ähnlichkeiten zwischen Aufgaben und fidelityabhängigen Datenmerkmalen die Vorhersagegenauigkeit bei der Surrogatmodellierung in Fertigungssystemen signifikant verbessert.
Diese Arbeit stellt HR-GAT vor, ein hierarchisches Graph-Attention-Netzwerk, das mithilfe von Geodaten die Spektrumnachfrage präziser vorhersagt als herkömmliche Modelle und dabei räumliche Autokorrelationen effektiv berücksichtigt.
Das Paper stellt GAST vor, eine innovative Methode zur parametereffizienten Feinabstimmung großer Sprachmodelle, die durch eine einheitliche Optimierungsstrategie sowohl daten- als auch schichtselektive Anpassungen kombiniert, um Redundanzen zu minimieren und die Leistung gegenüber bestehenden Ansätzen zu steigern.
Das Paper stellt CarbonBench vor, den ersten globalen Benchmark für das Zero-Shot-Learning zur Hochskalierung von Kohlenstoffflüssen, der über 1,3 Millionen Beobachtungen von 567 Messstellen nutzt, um die Generalisierungsfähigkeit von Modellen auf nicht trainierte Ökosysteme und Klimazonen systematisch zu evaluieren.
Die Arbeit stellt MSSR vor, ein Erfahrungswiederholungs-Framework für das kontinuierliche Fine-Tuning von LLMs, das durch die Schätzung der samplespezifischen Gedächtnisstärke und adaptive Intervalle für das Rehearsal katastrophales Vergessen effektiv reduziert, ohne die Anpassungsfähigkeit an neue Aufgaben zu beeinträchtigen.
Die Arbeit stellt OptEMA vor, einen adaptiven Exponential Moving Average-Optimierer für stochastische Probleme, der ohne Kenntnis der Lipschitz-Konstante auskommt und im noise-freien Fall eine nahezu optimale Konvergenzrate von erreicht.
Diese Arbeit stellt theoretisch dar, dass generatives Drifting unter einem Gaußschen Kernel exakt Score Matching auf geglätteten Verteilungen entspricht, und liefert damit durch eine spektrale und variationale Analyse Erklärungen für die Stabilität des Trainings, die Wahl des Kernels sowie eine neue Bandbreiten-Annealing-Strategie zur Überwindung von Konvergenzengpässen.
Die Studie stellt SignalMC-MED vor, ein multimodales Benchmark-Verfahren zur systematischen Evaluierung von Biosignal-Foundation-Modellen auf synchronisierten EKG- und PPG-Daten, das zeigt, dass domänenspezifische Modelle und multimodale Fusion die Vorhersageleistung verbessern, während längere Signalsegmente vorteilhafter sind als kürzere.
Die Studie zeigt, dass der Overfitting-Underfitting-Indicator (OUI) bereits zu einem frühen Trainingszeitpunkt von 10 % als wirksames Signal dient, um in PPO-Actor-Critic-Systemen stabile Lernraten von instabilen zu unterscheiden und dadurch ineffiziente Hyperparametersuchen durch eine präzise Früherkennung zu vermeiden.
Die Arbeit stellt „Neural Debuggers" vor, eine neue Klasse von Sprachmodellen, die traditionelle Debugger-Funktionen wie das Setzen von Haltepunkten und das schrittweise Durchlaufen von Code nachahmen, um sowohl die Vorwärts- als auch die Rückwärtsausführung von Python-Programmen zuverlässig zu modellieren und so die Grundlage für fortschrittlichere Agenten-basierte Codiersysteme zu legen.
Die Arbeit führt eine neue Familie von mittelnormalisierten Operator-Normen ein, um stabilen Lernraten-Transfer über verschiedene Netzwerkbreiten hinweg zu ermöglichen, und stellt den darauf basierenden Optimierer MOGA vor, der in großen Sprachmodellen mit Muon konkurrierbar ist und dabei schneller konvergiert.
Die Arbeit stellt C2FMAE vor, einen hierarchischen Masked Autoencoder, der durch einen kaskadierten Decoder und einen progressiven Maskierungs-Lehrplan semantische, instanzbasierte und pixelgenaue Repräsentationen vereint, um die inhärenten Spannungen zwischen kontrastivem Lernen und Masked Image Modeling aufzulösen und so robustere visuelle Darstellungen zu erlernen.
Die Studie zeigt, dass im Gegensatz zum menschlichen Verhalten das Nachdenken bei großen Sprachmodellen die Ehrlichkeit erhöht, da der Prozess des moralischen Abwägens das Modell durch einen verzerrten Repräsentationsraum führt, in dem ehrliche Antworten stabiler sind als täuschende.
Die Studie zeigt, dass in realistischen Szenarien mit korrelierten Merkmalen Interferenz konstruktiv genutzt werden kann, um semantische Cluster und zyklische Strukturen zu bilden, was die traditionelle Sichtweise der Superposition als rein störendes Rauschen erweitert.
Die Studie stellt TAM-RL vor, ein Framework, das durch die Kombination von räumlich-zeitlichem Repräsentationslernen mit physikalisch fundierten Constraints die Genauigkeit und Übertragbarkeit von hochskalierten terrestrischen Kohlenstoffflüssen im Vergleich zu bestehenden Methoden signifikant verbessert.
In diesem Paper werden zwei auf neuronalen Netzen und Online-Lernen basierende Verfahren zur Erkennung von Strukturbrüchen in großen Zeitreihen vorgestellt, die sich durch lineare Komplexität, Überlegenheit gegenüber bestehenden Methoden und bewiesene Konvergenz auszeichnen.
Die Autoren stellen eine Erweiterung semi-parametrischer Modelle auf Basis von Bayesian Additive Regression Trees (BART) vor, die durch modifizierte Baumgenerierungsverfahren die gemeinsame Nutzung von Kovariaten in linearen und nicht-parametrischen Komponenten ermöglicht, um Verzerrungen zu vermeiden und komplexe Interaktionen bei der Analyse von Bildungsdaten zu erfassen.