11797 Arbeiten
Die vorgestellte Arbeit entwickelt ein generalisiertes neuronales Gedächtnissystem, das es ermöglicht, das Lernen und Vergessen von Informationen durch natürliche Sprachanweisungen flexibel zu steuern, um so kostspielige Nachtrainingsverfahren zu vermeiden und die Anpassungsfähigkeit an heterogene Datenquellen zu verbessern.
Die Arbeit stellt FlexGuard vor, ein LLM-basiertes Moderationssystem, das durch kontinuierliche Risikobewertung und eine neue Benchmark (FlexBench) die Anpassungsfähigkeit und Robustheit von Inhaltsfiltern an unterschiedliche und sich wandelnde Strengeanforderungen verbessert.
Diese Arbeit stellt einen effizienten, auf Randintegralen und neuronalen Operatoren basierenden Ansatz (BINO) vor, der die Gitterverformung als lineares Elastizitätsproblem formuliert und durch die mathematische Entkopplung physikalischer Integration von geometrischen Darstellungen hohe Genauigkeit sowie Recheneffizienz für parametrische Gittergenerierung und Formoptimierung gewährleistet.
Diese Arbeit überwindet die Beschränkungen bestehender offline-Reinforcement-Learning-Algorithmen für große oder kontinuierliche Aktionsräume, indem sie theoretische Garantien für parametrisierte Policies durch eine Verbindung von Mirror Descent und Natural Policy Gradient liefert, was zudem eine überraschende Vereinheitlichung von offline RL und Imitationslernen ermöglicht.
Dieses Papier charakterisiert den Alignment-Tax erstmals formal durch eine geometrische Theorie im Repräsentationsraum, die eine exakte Pareto-Grenze für den Trade-off zwischen Sicherheit und Leistungsfähigkeit in Abhängigkeit vom Winkel zwischen den entsprechenden Unterräumen herleitet und eine Skalierungsgesetz-Zerlegung in einen irreduziblen strukturellen Anteil sowie einen mit der Modelldimension verschwindenden Restanteil liefert.
Dieses Papier stellt ein auf 5,8 Millionen elektronischen Gesundheitsakten trainiertes Sprachmodell vor, das medizinische Kodierungen automatisiert und dabei nicht nur eine hohe Genauigkeit erreicht, sondern auch systematische Untererfassungen von Sekundärdiagnosen in der dänischen Bevölkerung aufdeckt.
Die Arbeit stellt CoPeP vor, ein Benchmark zum Evaluieren von kontinuierlichem Vor-Training für Protein-Sprachmodelle, das zeigt, wie die Nutzung zeitlicher Metadaten und fortgeschrittener Methoden die Modellleistung verbessert, um mit der dynamischen Natur biologischer Daten Schritt zu halten.
Das Paper stellt IDER vor, eine neue Methode für zuverlässiges kontinuierliches Lernen, die durch die Ausnutzung der Idempotenz-Eigenschaft das Vergessen alter Aufgaben reduziert, die Vorhersagezuverlässigkeit erhöht und dabei rechenintensiv effizient mit bestehenden Replay-Verfahren kompatibel ist.
Die Studie stellt BornoViT vor, einen neuartigen, ressourcenschonenden Vision-Transformer mit nur 0,65 Millionen Parametern, der für die Klassifizierung bengalischer handschriftlicher Zeichen und Ziffern entwickelt wurde und auf dem BanglaLekha-Datensatz eine Genauigkeit von 95,77 % erreicht.
Diese Arbeit stellt einen theoretischen Rahmen vor, der Group Relative Policy Optimization (GRPO) als U-Statistik charakterisiert, um dessen asymptotische Optimalität, Fehlergrenzen und eine universelle Skalierungsregel für die Gruppengröße herzuleiten und empirisch zu validieren.
Diese Arbeit interpretiert das Phänomen des „Grokking" als Phasenübergang zwischen konkurrierenden Lösungsbecken mittels der Singular Learning Theory, wobei sie geschlossene Ausdrücke für den lokalen Lernkoeffizienten in quadratischen Netzwerken herleitet und empirisch nachweist, dass dieser Koeffizient ein zuverlässiges Werkzeug zur Verfolgung der Generalisierungsdynamik darstellt.
Die Arbeit stellt die Walk-on-Spheres Neural Operator (WoS-NO) vor, eine Methode, die mithilfe der Walk-on-Spheres-Methode schwache Supervision aus Monte-Carlo-Simulationen nutzt, um neuronale Operatoren für partielle Differentialgleichungen effizient und datenfrei zu trainieren, wodurch höhere Ableitungen vermieden werden und eine überlegene Genauigkeit, Geschwindigkeit sowie Speicherersparnis im Vergleich zu herkömmlichen physik-informierten Ansätzen erreicht wird.
Die Arbeit stellt BiCAM vor, eine bidirektionale Methode zur Erzeugung von Klassifikationsaktivierungskarten für Vision Transformer, die sowohl positive als auch negative Beiträge berücksichtigt, um interpretierbare Erklärungen zu verbessern und Adversarial Examples effizient zu erkennen.
Diese Arbeit stellt die Coupled Policy Optimization vor, eine Methode, die durch KL-basierte Regularisierung die Inter-Policy-Diversität in Ensemble-Policy-Gradient-Algorithmen steuert, um stabile und effiziente Exploration in großskaligen Reinforcement-Learning-Szenarien zu ermöglichen und dabei bestehende Baselines wie SAPG, PBT und PPO zu übertreffen.
Dieses Paper stellt eine Methode zur Hyperparameter-Trajektorien-Inferenz vor, die mittels bedingtem Lagrange-optimalen Transport ein Surrogatmodell entwickelt, um das Verhalten neuronaler Netze bei veränderten Hyperparametern effizient vorherzusagen und teures Nachtrainieren zu vermeiden.
Das Paper stellt RxnNano vor, ein kompaktes 0,5-Milliarden-Parameter-LLM, das durch hierarchisches Curriculum-Lernen und innovative chemische Konsistenzmechanismen deutlich bessere Vorhersagen für chemische Reaktionen und Retrosynthese erzielt als deutlich größere Modelle.
Die vorgestellte Arbeit führt den adaptiven Baum-Policy-Optimierungsalgorithmus (ATPO) ein, der durch unsicherheitsgesteuerte Rollout-Allokation und effiziente Suchtechniken Large Language Models für mehrstufige medizinische Dialoge optimiert und dabei selbst kleinere Modelle wie Qwen3-8B in der Genauigkeit deutlich über größere Baseline-Modelle wie GPT-4o hebt.
Die Arbeit zeigt, dass eine retraining-freie Kompression von MoE-Modellen durch eine leichte Kalibrierung des Routers mittels Wissensdistillation (Router KD) signifikant verbessert werden kann, um die durch Router-Experten-Mismatch verursachten Leistungsverluste zu beheben.
Die Studie zeigt, dass eine nachhaltige Selbstentwicklung von Sprachmodellen nur durch einen selbstsynthetischen Datenpipeline mit messbarem Informationsgewinn gelingt, der durch asymmetrische Ko-Evolution, Kapazitätswachstum und proaktive Informationssuche erreicht wird.
Die Arbeit stellt NExT-Guard vor, ein trainingsfreies Framework, das durch die Überwachung interpretierbarer latenter Merkmale aus Sparse Autoencodern Echtzeit-Sicherheitsgarantien für Streaming-Sprachmodelle ermöglicht und dabei teure Token-Level-Annotationen überflüssig macht.