3676 Arbeiten
Die Arbeit stellt REOPOLD vor, ein Framework, das durch die Interpretation von On-Policy-Distillation als Policy-Optimierung und die Einführung relaxierter Belohnungsmechanismen die Stabilität und Effizienz bei der Übertragung von Reasoning-Fähigkeiten auf kleinere Modelle signifikant verbessert.
Diese Arbeit stellt nichtparametrische Regressionsmethoden auf Basis von tiefen neuronalen Netzen unter dem Prinzip der minimalen Fehlerentropie für stark mischende Beobachtungen vor und zeigt, dass sowohl nicht- als auch sparse-gestraffte Schätzer die minimax-optimalen Konvergenzraten erreichen.
Die Studie stellt H2LooP Spark Preview vor, einen kontinuierlichen Vortrainings-Pipeline, der das Open-Source-Modell OLMo-3-7B durch die Verarbeitung von 23,5 Milliarden Tokens eingebetteter Systemdaten spezialisiert und dabei auf Benchmark-Tests in 8 von 13 Kategorien die Leistung von großen geschlossenen Modellen wie Claude Opus 4.6 und Qwen3-Coder-30B übertrifft.
Diese Arbeit stellt GCIG (Group Counterfactual Integrated Gradients) vor, ein Regularisierungsframework, das prozedurale Fairness in maschinellen Lernmodellen sicherstellt, indem es während des Trainings die Erklärungsstabilität über verschiedene geschützte Gruppen hinweg erzwingt und so das Vertrauen in die Modellentscheidungen stärkt, ohne die Vorhersagegenauigkeit zu beeinträchtigen.
Die Studie nutzt mechanistische Interpretierbarkeit, um in einem VideoViT-Modell einen kausalen Schaltkreis zu identifizieren, bei dem Aufmerksamkeitsköpfe als „Evidenzsammler" und MLP-Blöcke als „Konzept-Komponisten" fungieren, um den Erfolg oder Misserfolg einer Handlung zu berechnen, was auf die Entwicklung von verstecktem Wissen in KI-Modellen hinweist.
Die vorgestellte Arbeit schlägt einen lokal einsetzbaren, mehrstufigen Pipeline-Ansatz mit einem Video-Sprachmodell vor, um audiovisuelle Museumsbestände durch automatische, kataloggestützte Metadaten-Generierung und Attribution unter Einhaltung von Ressourcen- und regulatorischen Grenzen erschließbar zu machen.
Diese Arbeit führt ein Skalierungsgesetz-Framework für Jailbreak-Angriffe auf Large Language Models ein, das zeigt, dass promptbasierte Methoden im Vergleich zu optimierungsbasierten Ansätzen rechnerisch effizienter sind und bei der Erzeugung von Desinformation besonders anfällig sind.
Die Arbeit definiert algorithmisches Erfassen formal und zeigt, dass unendliche Transformer trotz universeller Ausdruckskraft durch einen induktiven Bias auf Algorithmen mit geringer Komplexität innerhalb der EPTHS-Klasse beschränkt sind, was das Erlernen komplexerer Algorithmen verhindert.
Die Autoren stellen einen selbstüberwachten maschinellen Lernansatz vor, der mithilfe von Oracle-Trajektorien und einem transformerbasierten Policy-Netzwerk komplexe mathematische Ausdrücke in der Hochenergiephysik nahezu perfekt vereinfacht und dabei bestehende Reinforcement-Learning-Methoden deutlich übertrifft.
Diese Studie stellt eine systematische Untersuchung zur automatischen Spracherkennung bei Huntington-Krankheit vor, die durch die Einführung einer biomarkerbasierten auxiliary Supervision und die Anpassung von Modellen an pathologische Sprachmerkmale die Wortfehlerrate signifikant senkt und dabei zeigt, dass sich Fehlermuster in Abhängigkeit vom Schweregrad der Erkrankung spezifisch verändern.
Die Arbeit stellt PACED vor, ein Framework zur effizienteren LLM-Distillation, das durch eine theoretisch fundierte Beta-Gewichtungsfunktion den Lernprozess gezielt auf die Zone der proximalen Entwicklung konzentriert, in der das Schülermodell weder bereits vollständig kompetent noch völlig überfordert ist, um so Rechenressourcen zu sparen und die Leistung auf Benchmarks zu steigern.
Die vorgestellte Arbeit entwickelt eine hybride Bayesian-Optimierungsmethode, die partiell bekannte physikalische Modelle mit probabilistischen Gauß-Prozessen kombiniert, um effizientere und schneller konvergierende Lösungen für komplexe Systeme wie Destillationsprozesse zu finden als herkömmliche Black-Box-Ansätze.
Die Studie stellt DNS-GT vor, einen graphbasierten Transformer-Ansatz, der durch selbstüberwachtes Vortraining und Feinabstimmung auf DNS-Abfrage-Sequenzen aussagekräftige Domain-Name-Embeddings lernt, um die Genauigkeit bei der Erkennung von Botnets und der Klassifizierung von Domains im Vergleich zu bestehenden Methoden zu verbessern.
Die Arbeit stellt CoRe vor, ein neuartiges Framework für das kontinuierliche Lernen, das das Feinabstimmungsparadigma vom Gewichtsraum in den Repräsentationsraum verlagert, indem es taskspezifische Eingriffe in einem niedrigrangigen linearen Unterraum versteckter Repräsentationen vornimmt, um Stabilität und Plastizität bei hoher Parameter-Effizienz zu gewährleisten.
Die Arbeit stellt ReGUn vor, einen Referenz-gesteuerten Ansatz für maschinelles Vergessen, der durch die Nutzung eines separaten Datensatzes als Referenz eine stabilere und effektivere Entfernung spezifischer Daten bei gleichzeitiger Wahrung der allgemeinen Modellleistung ermöglicht.
Die Arbeit stellt „Secure Concept Steering for CodeLLMs" (SCS-Code) vor, eine Methode, die die internen Repräsentationen von Sicherheitskonzepten in Large Language Models nutzt, um während der Token-Generierung gezielt sichere und funktionale Codeausgaben zu steuern und dabei bestehende State-of-the-Art-Methoden in puncto Sicherheit und Korrektheit zu übertreffen.
Die Studie zeigt, dass autonome KI-Agenten bei komplexen Cyberangriffen ihre Leistung sowohl durch erhöhten Rechenbedarf als auch durch Modellgenerationen signifikant steigern, wobei fortgeschrittene Modelle in einem Unternehmensnetzwerk bis zu 22 von 32 Schritten autonom bewältigen können, während die Fähigkeiten in industriellen Steuerungssystemen jedoch noch begrenzt bleiben.
Diese Studie untersucht Markovsche Generierungsketten in großen Sprachmodellen, bei denen iterative Inferenzprozesse ohne Gedächtnis entweder zu einer Konvergenz in eine kleine rekurrente Menge oder zu einer begrenzten Produktion neuer Sätze führen, wobei die Satzdiversität je nach Temperaturparameter und Eingabe zunehmen oder abnehmen kann.
Diese Arbeit stellt diagnostische Transportkarten vor, die als covariatenabhängige Korrekturmechanismen dienen, um ungenaue Vorhersageverteilungen für seltene Ereignisse neu zu kalibrieren und gleichzeitig Echtzeit-Diagnosedaten über spezifische Modellfehler zu liefern, was in einer Anwendung zur Vorhersage tropischer Wirbelstürme zu verbesserten Ergebnissen im Vergleich zu operationellen Modellen führt.
Die Studie stellt ein intelligentes tragbares System vor, das mithilfe von physiologischen Daten eines Armbands und maschinellem Lernen die Stimmung älterer Menschen im Alltag überwacht und vorhersagt.