11749 Arbeiten
Die Studie stellt BornoViT vor, einen neuartigen, ressourcenschonenden Vision-Transformer mit nur 0,65 Millionen Parametern, der für die Klassifizierung bengalischer handschriftlicher Zeichen und Ziffern entwickelt wurde und auf dem BanglaLekha-Datensatz eine Genauigkeit von 95,77 % erreicht.
Diese Arbeit stellt einen theoretischen Rahmen vor, der Group Relative Policy Optimization (GRPO) als U-Statistik charakterisiert, um dessen asymptotische Optimalität, Fehlergrenzen und eine universelle Skalierungsregel für die Gruppengröße herzuleiten und empirisch zu validieren.
Diese Arbeit interpretiert das Phänomen des „Grokking" als Phasenübergang zwischen konkurrierenden Lösungsbecken mittels der Singular Learning Theory, wobei sie geschlossene Ausdrücke für den lokalen Lernkoeffizienten in quadratischen Netzwerken herleitet und empirisch nachweist, dass dieser Koeffizient ein zuverlässiges Werkzeug zur Verfolgung der Generalisierungsdynamik darstellt.
Die Arbeit stellt die Walk-on-Spheres Neural Operator (WoS-NO) vor, eine Methode, die mithilfe der Walk-on-Spheres-Methode schwache Supervision aus Monte-Carlo-Simulationen nutzt, um neuronale Operatoren für partielle Differentialgleichungen effizient und datenfrei zu trainieren, wodurch höhere Ableitungen vermieden werden und eine überlegene Genauigkeit, Geschwindigkeit sowie Speicherersparnis im Vergleich zu herkömmlichen physik-informierten Ansätzen erreicht wird.
Die Arbeit stellt BiCAM vor, eine bidirektionale Methode zur Erzeugung von Klassifikationsaktivierungskarten für Vision Transformer, die sowohl positive als auch negative Beiträge berücksichtigt, um interpretierbare Erklärungen zu verbessern und Adversarial Examples effizient zu erkennen.
Diese Arbeit stellt die Coupled Policy Optimization vor, eine Methode, die durch KL-basierte Regularisierung die Inter-Policy-Diversität in Ensemble-Policy-Gradient-Algorithmen steuert, um stabile und effiziente Exploration in großskaligen Reinforcement-Learning-Szenarien zu ermöglichen und dabei bestehende Baselines wie SAPG, PBT und PPO zu übertreffen.
Dieses Paper stellt eine Methode zur Hyperparameter-Trajektorien-Inferenz vor, die mittels bedingtem Lagrange-optimalen Transport ein Surrogatmodell entwickelt, um das Verhalten neuronaler Netze bei veränderten Hyperparametern effizient vorherzusagen und teures Nachtrainieren zu vermeiden.
Das Paper stellt RxnNano vor, ein kompaktes 0,5-Milliarden-Parameter-LLM, das durch hierarchisches Curriculum-Lernen und innovative chemische Konsistenzmechanismen deutlich bessere Vorhersagen für chemische Reaktionen und Retrosynthese erzielt als deutlich größere Modelle.
Die vorgestellte Arbeit führt den adaptiven Baum-Policy-Optimierungsalgorithmus (ATPO) ein, der durch unsicherheitsgesteuerte Rollout-Allokation und effiziente Suchtechniken Large Language Models für mehrstufige medizinische Dialoge optimiert und dabei selbst kleinere Modelle wie Qwen3-8B in der Genauigkeit deutlich über größere Baseline-Modelle wie GPT-4o hebt.
Die Arbeit zeigt, dass eine retraining-freie Kompression von MoE-Modellen durch eine leichte Kalibrierung des Routers mittels Wissensdistillation (Router KD) signifikant verbessert werden kann, um die durch Router-Experten-Mismatch verursachten Leistungsverluste zu beheben.
Die Studie zeigt, dass eine nachhaltige Selbstentwicklung von Sprachmodellen nur durch einen selbstsynthetischen Datenpipeline mit messbarem Informationsgewinn gelingt, der durch asymmetrische Ko-Evolution, Kapazitätswachstum und proaktive Informationssuche erreicht wird.
Die Arbeit stellt NExT-Guard vor, ein trainingsfreies Framework, das durch die Überwachung interpretierbarer latenter Merkmale aus Sparse Autoencodern Echtzeit-Sicherheitsgarantien für Streaming-Sprachmodelle ermöglicht und dabei teure Token-Level-Annotationen überflüssig macht.
Die Arbeit stellt TimeGS vor, ein neuartiges Framework, das die Zeitreihenvorhersage durch eine Umdeutung als 2D-Rendering mit adaptiven Gauß-Kernen und chronologisch kontinuierlicher Rasterisierung revolutioniert, um die Grenzen bestehender 2D-Reshaping-Ansätze zu überwinden und state-of-the-art Ergebnisse zu erzielen.
MedFeat ist ein von LLMs gestützter, modellbewusster Framework für das Feature-Engineering im klinischen Bereich, der durch SHAP-basierte Erklärungen und Feedback-Schleifen stabile Vorhersageverbesserungen sowie generalisierbare, klinisch relevante Merkmale über verschiedene Datensätze hinweg erzielt.
Die Studie zeigt durch eine systematische Fehlerbereinigung und den Einsatz von „Open-Book"-Prompting, dass MedCalc-Bench primär Formelwissen und Rechengenauigkeit statt klinischer Reasoning-Fähigkeiten misst und daher als Tool-Use-Evaluierung neu zu bewerten ist.
Diese Studie nutzt einen dualen Machine-Learning-Ansatz auf Basis einer groß angelegten Umfrage, um latente Verhaltensmuster bei der Evakuierung vor Waldbränden zu identifizieren und vorherzusagen, wobei sich zeigt, dass zwar der Evakuierungsweg aus Haushaltsmerkmalen zuverlässig prognostiziert werden kann, der Zeitpunkt der Evakuierung jedoch stark von dynamischen Brandbedingungen abhängt.
Die Arbeit stellt eine geometrische Theorie vor, die katastrophisches Vergessen bei Low-Rank Adaptation (LoRA) durch die Wechselwirkung von Gradienten-Unterräumen erklärt und zeigt, dass der Grad des Vergessens primär durch den minimalen Winkel zwischen diesen Unterräumen bestimmt wird, während der Adapter-Rang nur bei ähnlichen Unterräumen eine signifikante Rolle spielt.
Die Studie zeigt, dass sich Belohnungsmodelle durch unüberwachtes Lernen aus Webdaten skalieren lassen und dabei ohne menschliche Annotationen eine Leistung erreichen, die überlegene überwachte Baseline-Modelle in Mathematik- und Sicherheitsaufgaben übertreffen oder gleichziehen.
Die vorgestellte Arbeit stellt selektive-Update-RNNs (suRNNs) vor, eine nichtlineare Architektur, die durch neuronale Binärschalter den Zustand nur bei informativen Ereignissen aktualisiert, um so das Problem des Gedächtnisverfalls zu lösen und Transformer-Level-Leistung bei deutlich höherer Effizienz für die Langzeitmodellierung zu erreichen.
Die Studie zeigt, dass End-to-End-Sparse-Attention-Modelle durch „Routing-Absorption" scheitern, da sich die gemeinsamen Q/K/V-Parameter so stark an beliebige Masken anpassen, dass gelernte Gating-Mechanismen kaum besser funktionieren als zufällige, weshalb post-hoc-Ansätze zur Entkopplung von Repräsentationslernen und Verdünnung überlegen sind.