3 Arbeiten
Die Studie validiert, dass ein lokal gehostetes kleines Sprachmodell (20 Milliarden Parameter) zuverlässig spezifische Substanzkategorien gemäß DSM-5 aus Texten der Kinderwohlfahrt extrahieren kann, wobei für fünf Hauptkategorien eine nahezu perfekte Übereinstimmung mit menschlichen Experten erreicht wurde.
Die Arbeit stellt MicroCoder-GRPO vor, einen verbesserten Reinforcement-Learning-Ansatz mit drei Innovationen zur Überwindung von Trainingsengpässen bei Code-Modellen, der in Kombination mit einem neuen Datensatz und einem optimierten Evaluierungsframework signifikante Leistungssteigerungen auf LiveCodeBench v6 erzielt und dabei zeigt, dass sorgfältig trainierte Modelle mit größeren Modellen konkurrieren können.
Die Studie stellt das MicroCoder-Dataset vor, das durch einen systematischen vierstufigen Verarbeitungsprozess und eine KI-gestützte Schwierigkeitsfilterung aus aktuellen Wettbewerbsaufgaben besteht und nachweislich die Leistung von Code-Generierungsmodellen bei komplexen Aufgaben im Vergleich zu herkömmlichen Datensätzen signifikant verbessert.