mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code
Der Beitrag „mcdok" stellt für SemEval-2026 Task 13 angepasste Systeme vor, die durch Feinabstimmung von auf Codeverständnis spezialisierten LLMs zur Erkennung und Quellenzuordnung maschinengenerierter Code-Snippets wettbewerbsfähige Ergebnisse in allen drei Teilaufgaben erzielen, jedoch noch deutliche Verbesserungspotenziale im Vergleich zu den führenden Systemen aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Detektiv-Story: Wer hat diesen Code geschrieben?
Stell dir vor, du bist ein Koch, der jeden Tag neue Rezepte (Code) erstellt. Plötzlich tauchen in deiner Küche Roboter auf, die genau so gut kochen können wie du. Manchmal machen sie das Essen sogar noch schneller. Das Problem: Du kannst kaum noch unterscheiden, ob ein Gericht von dir oder vom Roboter stammt.
Genau dieses Problem hatten die Forscher von der KInIT (einem KI-Institut in der Slowakei und Tschechien) bei einem großen Wettbewerb namens SemEval-2026. Sie mussten ein System bauen, das wie ein super-scharfer Koch-Detektiv funktioniert. Ihr System nannten sie mcdok (eine Art „Roboter-Detektiv").
Der Wettbewerb bestand aus drei verschiedenen „Koch-Tests" (Subtasks), und mcdok musste in allen drei bestehen:
Test 1: Der „Ja-oder-Nein"-Koch (Subtask A)
Die Aufgabe: Ein Gericht kommt auf den Tisch. War es von einem Menschen oder von einer KI?
Die Lösung von mcdok:
Stell dir vor, mcdok ist ein junger Lehrling, der verschiedene Kochbücher (KI-Modelle) studiert hat. Die Forscher gaben ihm ein sehr großes, allgemeines Kochbuch namens Gemma-3.
- Der Trick: Normalerweise sagt ein Lehrling: „Das sieht aus wie ein Roboter-Gericht." Aber mcdok wurde so trainiert, dass er nur dann „Roboter" schreit, wenn er zu 100 % sicher ist. Wenn er nur zu 50 % unsicher ist, sagt er lieber „Vielleicht Mensch".
- Das Ergebnis: Dieser vorsichtige Ansatz funktionierte super! Der Lehrling wurde sehr gut darin, KI-Code zu erkennen, selbst bei Sprachen, die er nie vorher gesehen hatte (wie Rust oder PHP).
Test 2: Der „Wer war's?"-Koch (Subtask B)
Die Aufgabe: Hier gibt es nicht nur „Mensch vs. Roboter", sondern 11 verschiedene Roboter-Familien (z. B. Familie „OpenAI", Familie „Google", Familie „Qwen") plus die Menschen. Wer hat gekocht?
Die Lösung von mcdok:
Jetzt musste der Detektiv nicht nur sagen, ob es ein Roboter ist, sondern auch, welcher Roboter. Das ist wie bei einer Party, wo man 11 verschiedene Gruppen von Gästen unterscheiden muss.
- Das Problem: Manche Gruppen waren riesig (viele Beispiele), andere winzig (wenige Beispiele). Das verwirrte den Lehrling.
- Die Lösung: Sie gaben ihm ein spezielles Kochbuch namens CodeGemma.
- Das Ergebnis: Es war schwer. Der Lehrling konnte die großen Gruppen (wie OpenAI) gut erkennen, war aber bei den kleineren Gruppen verwirrt. Er landete im Mittelfeld, schlug aber die einfachen Basismodelle (die „Standard-Kochbücher").
Test 3: Der „Misch-Koch"-Detektiv (Subtask C)
Die Aufgabe: Hier wird es knifflig. Es gibt vier Kategorien:
- Nur Mensch.
- Nur Roboter.
- Hybrid: Der Mensch hat angefangen, der Roboter fertig gemacht (oder umgekehrt).
- Adversarial: Der Roboter hat sich so verkleidet, dass er wie ein Mensch aussieht (ein „Verkleideter").
Die Lösung von mcdok:
Das ist wie ein Verkleidungsspiel. Der Roboter versucht, den menschlichen Kochstil perfekt zu imitieren.
- Die Lösung: Hier wählten sie ein anderes Kochbuch: Qwen2.5-Coder. Dieses Buch war besonders gut darin, die Nuancen zu verstehen.
- Das Ergebnis: Der Lehrling war sehr gut darin, den echten Menschen vom echten Roboter zu unterscheiden. Aber bei den „Hybrid"-Gerichten (Mischungen) und den „Verkleideten" war er manchmal unsicher. Er verwechselte oft, ob ein Roboter das Essen mitgemacht hat oder nicht. Trotzdem war er einer der besten Detektive im Wettbewerb.
Wie haben sie das gemacht? (Die Geheimzutaten)
Statt einen riesigen, komplizierten Apparat zu bauen (was oft teuer und langsam ist), entschieden sie sich für einen einfachen, aber schlauen Ansatz:
- Der richtige Lehrling (Modell-Auswahl): Sie probierten viele verschiedene KI-Modelle aus. Manche waren auf Code spezialisiert, andere waren allgemeine Genies. Überraschenderweise war das allgemeine Genie (Gemma) bei Test 1 am besten, während die Code-Spezialisten bei den anderen Tests glänzten.
- Feinabstimmung (Fine-Tuning): Sie gaben dem Lehrling nicht einfach nur die Rezepte, sondern ließen ihn die Rezepte „durchschreiben" und korrigieren, bis er den Stil der KI perfekt verstand. Sie nutzten dabei eine clevere Technik namens QLoRA, die wie ein „Spar-Modus" funktioniert: Man muss nicht das ganze Gehirn des Roboters neu trainieren, sondern nur ein paar wichtige Nervenzellen anpassen.
- Die Auswahl der Zutaten (Daten): Sie sorgten dafür, dass der Lehrling nicht nur von den häufigsten Rezepten lernte, sondern auch von den seltenen, damit er nicht voreingenommen wird.
Das Fazit
Die Forscher haben bewiesen, dass man allgemeine KI-Detektive (die für Text gemacht wurden) erfolgreich auch für Code einsetzen kann.
- Erfolg: Ihr System „mcdok" war in allen drei Tests konkurrenzfähig und schlug die einfachen Standard-Modelle.
- Herausforderung: Es gibt immer noch eine Lücke zu den absoluten Spitzenreitern. Besonders bei „verkleideten" Robotern oder Mischwerken ist die Unterscheidung noch schwierig.
- Zukunft: Die Forscher hoffen, dass sie durch noch besseres Training und eine bessere Auswahl der Daten den Detektiv noch schärfen können.
Kurz gesagt: Sie haben einen cleveren Koch-Detektiv gebaut, der immer besser wird darin, herauszufinden, ob ein Rezept von einem Menschen oder einer Maschine stammt – eine wichtige Fähigkeit, da KI-Code immer häufiger wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.