H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code

Die Studie stellt H2LooP Spark Preview vor, einen kontinuierlichen Vortrainings-Pipeline, der das Open-Source-Modell OLMo-3-7B durch die Verarbeitung von 23,5 Milliarden Tokens eingebetteter Systemdaten spezialisiert und dabei auf Benchmark-Tests in 8 von 13 Kategorien die Leistung von großen geschlossenen Modellen wie Claude Opus 4.6 und Qwen3-Coder-30B übertrifft.

Amit Singh, Vedant Nipane, Pulkit Agrawal, Jatin Kishnani2026-03-13🤖 cs.LG

Procedural Fairness via Group Counterfactual Explanation

Diese Arbeit stellt GCIG (Group Counterfactual Integrated Gradients) vor, ein Regularisierungsframework, das prozedurale Fairness in maschinellen Lernmodellen sicherstellt, indem es während des Trainings die Erklärungsstabilität über verschiedene geschützte Gruppen hinweg erzwingt und so das Vertrauen in die Modellentscheidungen stärkt, ohne die Vorhersagegenauigkeit zu beeinträchtigen.

Gideon Popoola, John Sheppard2026-03-13🤖 cs.LG

Huntington Disease Automatic Speech Recognition with Biomarker Supervision

Diese Studie stellt eine systematische Untersuchung zur automatischen Spracherkennung bei Huntington-Krankheit vor, die durch die Einführung einer biomarkerbasierten auxiliary Supervision und die Anpassung von Modellen an pathologische Sprachmerkmale die Wortfehlerrate signifikant senkt und dabei zeigt, dass sich Fehlermuster in Abhängigkeit vom Schweregrad der Erkrankung spezifisch verändern.

Charles L. Wang, Cady Chen, Ziwei Gong, Julia Hirschberg2026-03-13🤖 cs.LG

PACED: Distillation at the Frontier of Student Competence

Die Arbeit stellt PACED vor, ein Framework zur effizienteren LLM-Distillation, das durch eine theoretisch fundierte Beta-Gewichtungsfunktion den Lernprozess gezielt auf die Zone der proximalen Entwicklung konzentriert, in der das Schülermodell weder bereits vollständig kompetent noch völlig überfordert ist, um so Rechenressourcen zu sparen und die Leistung auf Benchmarks zu steigern.

Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang2026-03-13🤖 cs.AI

DNS-GT: A Graph-based Transformer Approach to Learn Embeddings of Domain Names from DNS Queries

Die Studie stellt DNS-GT vor, einen graphbasierten Transformer-Ansatz, der durch selbstüberwachtes Vortraining und Feinabstimmung auf DNS-Abfrage-Sequenzen aussagekräftige Domain-Name-Embeddings lernt, um die Genauigkeit bei der Erkennung von Botnets und der Klassifizierung von Domains im Vergleich zu bestehenden Methoden zu verbessern.

Massimiliano Altieri, Ronan Hamon, Roberto Corizzo, Michelangelo Ceci, Ignacio Sanchez2026-03-13🤖 cs.LG

Representation Finetuning for Continual Learning

Die Arbeit stellt CoRe vor, ein neuartiges Framework für das kontinuierliche Lernen, das das Feinabstimmungsparadigma vom Gewichtsraum in den Repräsentationsraum verlagert, indem es taskspezifische Eingriffe in einem niedrigrangigen linearen Unterraum versteckter Repräsentationen vornimmt, um Stabilität und Plastizität bei hoher Parameter-Effizienz zu gewährleisten.

Haihua Luo, Xuming Ran, Tommi Kärkkäinen, Huiyan Xue, Zhonghua Chen, Qi Xu, Fengyu Cong2026-03-13🤖 cs.LG

Security-by-Design for LLM-Based Code Generation: Leveraging Internal Representations for Concept-Driven Steering Mechanisms

Die Arbeit stellt „Secure Concept Steering for CodeLLMs" (SCS-Code) vor, eine Methode, die die internen Repräsentationen von Sicherheitskonzepten in Large Language Models nutzt, um während der Token-Generierung gezielt sichere und funktionale Codeausgaben zu steuern und dabei bestehende State-of-the-Art-Methoden in puncto Sicherheit und Korrektheit zu übertreffen.

Maximilian Wendlinger, Daniel Kowatsch, Konstantin Böttinger, Philip Sperl2026-03-13🤖 cs.LG

Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

Die Studie zeigt, dass autonome KI-Agenten bei komplexen Cyberangriffen ihre Leistung sowohl durch erhöhten Rechenbedarf als auch durch Modellgenerationen signifikant steigern, wobei fortgeschrittene Modelle in einem Unternehmensnetzwerk bis zu 22 von 32 Schritten autonom bewältigen können, während die Fähigkeiten in industriellen Steuerungssystemen jedoch noch begrenzt bleiben.

Linus Folkerts, Will Payne, Simon Inman, Philippos Giavridis, Joe Skinner, Sam Deverett, James Aung, Ekin Zorer, Michael Schmatz, Mahmoud Ghanem, John Wilkinson, Alan Steer, Vy Hong, Jessica Wang2026-03-13🤖 cs.AI