2325 Arbeiten
Die Arbeit stellt EsoLang-Bench vor, einen Benchmark auf Basis esoterischer Programmiersprachen, der zeigt, dass große Sprachmodelle trotz hoher Leistungen bei Standardtests kaum genuine Reasoning-Fähigkeiten besitzen und stattdessen auf Memorierung angewiesen sind.
Diese Arbeit zeigt, dass das Vergessen bei der sequenziellen Anpassung großer Modelle durch Parameter-effiziente Feinabstimmung maßgeblich von der Geometrie und Parametrisierung des Aktualisierungsunterraums abhängt, wobei tensorbasierte Zerlegungen und strukturell ausgerichtete Parametrisierungen das Vergessen im Vergleich zu herkömmlichen Methoden wie LoRA effektiv reduzieren.
Die Arbeit stellt ActiveUltraFeedback vor, eine modulare Active-Learning-Pipeline, die durch die gezielte Auswahl unsicherer oder qualitativ stark unterschiedlicher Antwortpaare hochwertige Präferenzdaten mit nur einem Sechstel des Annotationsaufwands im Vergleich zu statischen Baselines generiert und so die Leistung von Large Language Models signifikant verbessert.
Die Studie stellt PF-PINO vor, einen physik-informierten neuronalen Operator, der durch die Einbettung der Residuen der Phasenfeld-Gleichungen in die Verlustfunktion die Genauigkeit, Generalisierungsfähigkeit und Langzeitstabilität bei der Vorhersage komplexer Materialmikrostrukturen im Vergleich zu herkömmlichen Methoden wie dem Fourier-neuronalen Operator (FNO) erheblich verbessert.
Die Arbeit stellt Mousse vor, einen neuen Optimierer, der durch die Kombination von Muons spektraler Stabilität mit Shampoons kroneckerfaktorisierter Vorbedingung die geometrische Anpassungsfähigkeit in stark konditionierten Landschaften verbessert und so das Training von Sprachmodellen um etwa 12 % beschleunigt.
Dieser Artikel stellt einen multi-prototypenbasierten Ansatz für das federierte Wissensdistillieren (MP-FedKD) in KI-RAN-fähigen Multi-Access-Edge-Computing-Systemen vor, der durch die Integration von Selbst-Wissensdistillierung, einer bedingten hierarchischen agglomerativen Clustering-Methode und einer neuen Verlustfunktion die Herausforderungen nicht-uniform verteilter Daten überwindet und dabei die Genauigkeit im Vergleich zu bestehenden Methoden signifikant verbessert.
Diese Arbeit leitet theoretische obere PAC-Generalisierungsschranken für neuronale Oszillatoren auf Basis von ODEs und MLPs her, zeigt, dass die Fehlerpolynome in MLP-Größe und Zeitlänge wachsen, und bestätigt durch numerische Studien, dass die Regularisierung der Lipschitz-Konstanten die Generalisierungsfähigkeit bei begrenzten Trainingsdaten verbessert.
Die Arbeit beweist globale universelle Approximationssätze für stückweise lineare Pfade mittels linearer Funktionale ihrer Signaturen und wendet diese Ergebnisse auf stochastische Differentialgleichungen sowie Pfad-funktionale an, die durch Brownsche Bewegung getrieben werden.
Diese Arbeit zeigt, dass gängige Methoden der erklärbaren Künstlichen Intelligenz oft übersehen, dass Neuronen durch das Fehlen von Konzepten aktiviert werden, und schlägt einfache Erweiterungen vor, um diese „kodierten Abwesenheiten" in Deep-Learning-Modellen zu identifizieren und zu erklären.
Diese Arbeit stellt ein hybrides Quanten-Klassisch-Framework vor, das LSTM-Netze mit einem Quantum Circuit Born Machine kombiniert, um die Prognosegenauigkeit der Finanzmarktvolatilität im Vergleich zu rein klassischen Modellen signifikant zu verbessern.
Die vorgeschlagene adaptive Kanalpruning-Methode (ACP-SL) nutzt ein labelbewusstes Scoring-Verfahren, um unwichtige Kanäle in Split Learning zu entfernen, wodurch die Kommunikationskosten durch komprimierte Datenübertragung gesenkt und die Testgenauigkeit im Vergleich zu bestehenden Ansätzen verbessert wird.
Dieses Paper stellt -GaBO vor, eine neue Familie von Bayesian-Optimierungsalgorithmen für das Wahrscheinlichkeitssimplex, die auf informationstheoretischer Geometrie basiert und durch geometrisch angepasste Kernel sowie Optimierer eine überlegene Leistung im Vergleich zu herkömmlichen euklidischen Ansätzen zeigt.
Die Arbeit stellt „In-Context RLVR" vor, eine Methode, die durch die Nutzung von „Evidence Gain" als implizites Belohnungsgewicht die Qualität von Lösungswegen in Large Language Models verbessert, ohne externe Bewertungsmodelle zu benötigen.
Diese Arbeit stellt einen leichtgewichtigen „Pseudo-Projektor" vor, der von der Multigrid-Methode inspiriert ist und als Korrektur für versteckte Repräsentationen in Transformer-Modellen dient, um deren Robustheit gegenüber Rauschen zu erhöhen und das Trainingsverhalten zu verbessern, ohne die Kernarchitektur zu verändern.
Diese Arbeit stellt ein neuartiges hierarchisches Multi-Task-Multi-Fidelity-Framework für Gaußsche Prozesse vor, das durch die gleichzeitige Nutzung von Ähnlichkeiten zwischen Aufgaben und fidelityabhängigen Datenmerkmalen die Vorhersagegenauigkeit bei der Surrogatmodellierung in Fertigungssystemen signifikant verbessert.
Diese Arbeit stellt HR-GAT vor, ein hierarchisches Graph-Attention-Netzwerk, das mithilfe von Geodaten die Spektrumnachfrage präziser vorhersagt als herkömmliche Modelle und dabei räumliche Autokorrelationen effektiv berücksichtigt.
Das Paper stellt GAST vor, eine innovative Methode zur parametereffizienten Feinabstimmung großer Sprachmodelle, die durch eine einheitliche Optimierungsstrategie sowohl daten- als auch schichtselektive Anpassungen kombiniert, um Redundanzen zu minimieren und die Leistung gegenüber bestehenden Ansätzen zu steigern.
Das Paper stellt CarbonBench vor, den ersten globalen Benchmark für das Zero-Shot-Learning zur Hochskalierung von Kohlenstoffflüssen, der über 1,3 Millionen Beobachtungen von 567 Messstellen nutzt, um die Generalisierungsfähigkeit von Modellen auf nicht trainierte Ökosysteme und Klimazonen systematisch zu evaluieren.
Die Arbeit stellt MSSR vor, ein Erfahrungswiederholungs-Framework für das kontinuierliche Fine-Tuning von LLMs, das durch die Schätzung der samplespezifischen Gedächtnisstärke und adaptive Intervalle für das Rehearsal katastrophales Vergessen effektiv reduziert, ohne die Anpassungsfähigkeit an neue Aufgaben zu beeinträchtigen.
Die Arbeit stellt OptEMA vor, einen adaptiven Exponential Moving Average-Optimierer für stochastische Probleme, der ohne Kenntnis der Lipschitz-Konstante auskommt und im noise-freien Fall eine nahezu optimale Konvergenzrate von erreicht.