11732 Arbeiten
Dieses Papier charakterisiert den Alignment-Tax erstmals formal durch eine geometrische Theorie im Repräsentationsraum, die eine exakte Pareto-Grenze für den Trade-off zwischen Sicherheit und Leistungsfähigkeit in Abhängigkeit vom Winkel zwischen den entsprechenden Unterräumen herleitet und eine Skalierungsgesetz-Zerlegung in einen irreduziblen strukturellen Anteil sowie einen mit der Modelldimension verschwindenden Restanteil liefert.
Dieses Papier stellt ein auf 5,8 Millionen elektronischen Gesundheitsakten trainiertes Sprachmodell vor, das medizinische Kodierungen automatisiert und dabei nicht nur eine hohe Genauigkeit erreicht, sondern auch systematische Untererfassungen von Sekundärdiagnosen in der dänischen Bevölkerung aufdeckt.
Die Arbeit stellt CoPeP vor, ein Benchmark zum Evaluieren von kontinuierlichem Vor-Training für Protein-Sprachmodelle, das zeigt, wie die Nutzung zeitlicher Metadaten und fortgeschrittener Methoden die Modellleistung verbessert, um mit der dynamischen Natur biologischer Daten Schritt zu halten.
Das Paper stellt IDER vor, eine neue Methode für zuverlässiges kontinuierliches Lernen, die durch die Ausnutzung der Idempotenz-Eigenschaft das Vergessen alter Aufgaben reduziert, die Vorhersagezuverlässigkeit erhöht und dabei rechenintensiv effizient mit bestehenden Replay-Verfahren kompatibel ist.
Die Studie stellt BornoViT vor, einen neuartigen, ressourcenschonenden Vision-Transformer mit nur 0,65 Millionen Parametern, der für die Klassifizierung bengalischer handschriftlicher Zeichen und Ziffern entwickelt wurde und auf dem BanglaLekha-Datensatz eine Genauigkeit von 95,77 % erreicht.
Diese Arbeit stellt einen theoretischen Rahmen vor, der Group Relative Policy Optimization (GRPO) als U-Statistik charakterisiert, um dessen asymptotische Optimalität, Fehlergrenzen und eine universelle Skalierungsregel für die Gruppengröße herzuleiten und empirisch zu validieren.
Diese Arbeit interpretiert das Phänomen des „Grokking" als Phasenübergang zwischen konkurrierenden Lösungsbecken mittels der Singular Learning Theory, wobei sie geschlossene Ausdrücke für den lokalen Lernkoeffizienten in quadratischen Netzwerken herleitet und empirisch nachweist, dass dieser Koeffizient ein zuverlässiges Werkzeug zur Verfolgung der Generalisierungsdynamik darstellt.
Die Arbeit stellt die Walk-on-Spheres Neural Operator (WoS-NO) vor, eine Methode, die mithilfe der Walk-on-Spheres-Methode schwache Supervision aus Monte-Carlo-Simulationen nutzt, um neuronale Operatoren für partielle Differentialgleichungen effizient und datenfrei zu trainieren, wodurch höhere Ableitungen vermieden werden und eine überlegene Genauigkeit, Geschwindigkeit sowie Speicherersparnis im Vergleich zu herkömmlichen physik-informierten Ansätzen erreicht wird.
Die Arbeit stellt BiCAM vor, eine bidirektionale Methode zur Erzeugung von Klassifikationsaktivierungskarten für Vision Transformer, die sowohl positive als auch negative Beiträge berücksichtigt, um interpretierbare Erklärungen zu verbessern und Adversarial Examples effizient zu erkennen.
Diese Arbeit stellt die Coupled Policy Optimization vor, eine Methode, die durch KL-basierte Regularisierung die Inter-Policy-Diversität in Ensemble-Policy-Gradient-Algorithmen steuert, um stabile und effiziente Exploration in großskaligen Reinforcement-Learning-Szenarien zu ermöglichen und dabei bestehende Baselines wie SAPG, PBT und PPO zu übertreffen.
Dieses Paper stellt eine Methode zur Hyperparameter-Trajektorien-Inferenz vor, die mittels bedingtem Lagrange-optimalen Transport ein Surrogatmodell entwickelt, um das Verhalten neuronaler Netze bei veränderten Hyperparametern effizient vorherzusagen und teures Nachtrainieren zu vermeiden.
Das Paper stellt RxnNano vor, ein kompaktes 0,5-Milliarden-Parameter-LLM, das durch hierarchisches Curriculum-Lernen und innovative chemische Konsistenzmechanismen deutlich bessere Vorhersagen für chemische Reaktionen und Retrosynthese erzielt als deutlich größere Modelle.
Die vorgestellte Arbeit führt den adaptiven Baum-Policy-Optimierungsalgorithmus (ATPO) ein, der durch unsicherheitsgesteuerte Rollout-Allokation und effiziente Suchtechniken Large Language Models für mehrstufige medizinische Dialoge optimiert und dabei selbst kleinere Modelle wie Qwen3-8B in der Genauigkeit deutlich über größere Baseline-Modelle wie GPT-4o hebt.
Die Arbeit zeigt, dass eine retraining-freie Kompression von MoE-Modellen durch eine leichte Kalibrierung des Routers mittels Wissensdistillation (Router KD) signifikant verbessert werden kann, um die durch Router-Experten-Mismatch verursachten Leistungsverluste zu beheben.
Die Studie zeigt, dass eine nachhaltige Selbstentwicklung von Sprachmodellen nur durch einen selbstsynthetischen Datenpipeline mit messbarem Informationsgewinn gelingt, der durch asymmetrische Ko-Evolution, Kapazitätswachstum und proaktive Informationssuche erreicht wird.
Die Arbeit stellt NExT-Guard vor, ein trainingsfreies Framework, das durch die Überwachung interpretierbarer latenter Merkmale aus Sparse Autoencodern Echtzeit-Sicherheitsgarantien für Streaming-Sprachmodelle ermöglicht und dabei teure Token-Level-Annotationen überflüssig macht.
Die Arbeit stellt TimeGS vor, ein neuartiges Framework, das die Zeitreihenvorhersage durch eine Umdeutung als 2D-Rendering mit adaptiven Gauß-Kernen und chronologisch kontinuierlicher Rasterisierung revolutioniert, um die Grenzen bestehender 2D-Reshaping-Ansätze zu überwinden und state-of-the-art Ergebnisse zu erzielen.
MedFeat ist ein von LLMs gestützter, modellbewusster Framework für das Feature-Engineering im klinischen Bereich, der durch SHAP-basierte Erklärungen und Feedback-Schleifen stabile Vorhersageverbesserungen sowie generalisierbare, klinisch relevante Merkmale über verschiedene Datensätze hinweg erzielt.
Die Studie zeigt durch eine systematische Fehlerbereinigung und den Einsatz von „Open-Book"-Prompting, dass MedCalc-Bench primär Formelwissen und Rechengenauigkeit statt klinischer Reasoning-Fähigkeiten misst und daher als Tool-Use-Evaluierung neu zu bewerten ist.
Diese Studie nutzt einen dualen Machine-Learning-Ansatz auf Basis einer groß angelegten Umfrage, um latente Verhaltensmuster bei der Evakuierung vor Waldbränden zu identifizieren und vorherzusagen, wobei sich zeigt, dass zwar der Evakuierungsweg aus Haushaltsmerkmalen zuverlässig prognostiziert werden kann, der Zeitpunkt der Evakuierung jedoch stark von dynamischen Brandbedingungen abhängt.