UNSPECIFIC: General Constraint Synthesis for Breaking Copy-and-Paste Shortcut in LLM Instruction Following

Stellen Sie sich vor, Sie bringen einem Roboter das Geschichtenschreiben bei. Sie geben ihm eine Liste von Regeln vor, wie zum Beispiel „Der Held muss mutig sein“ oder „Die Geschichte muss mit einem Regenschauer enden“. Dies nennt man Instruktionsfolgen (Instruction Following). In der Welt der Künstlichen Intelligenz sind Large Language Models (LLMs) diese Roboter, und Forscher versuchen ständig zu prüfen, ob sie in der Lage sind, komplexe, lange Listen von Regeln zu befolgen, ohne dabei verwirrt zu werden oder Dinge zu erfinden.

Aber hier liegt der knifflige Teil: Wie testet man, ob der Roboter tatsächlich über die Regeln nachdenkt, oder ob er nur eine Abkürzung nimmt? Manchmal ist der Test selbst fehlerhaft. Wenn man einen Roboter bittet, eine Geschichte basierend auf einem spezifischen Beispiel zu schreiben, das er gerade gelesen hat, könnte er einfach die Details des Beispiels in seine eigene Geschichte kopieren und einfügen. Es ist wie ein Schüler, der anstatt eines Aufsatzes über das Thema „Einmal, als ich einem Freund geholfen habe“ einfach einen Absatz aus der Hausaufgabe eines Freundes kopiert, in dem steht: „Ich habe meinem Freund geholfen, Lebensmittel zu tragen.“ Der Lehrer sieht die Wörter „geholfen“ und „Freund“ und denkt: „Gute Arbeit!“, aber der Schüler hat eigentlich gar nicht die eigentliche Arbeit geleistet. Dieses Paper beschäftigt sich damit, genau diesen Shortcut zu beheben, damit wir sehen können, ob die Roboter wirklich intelligent sind oder nur sehr gut im Kopieren.

---

Die große Kopieren-und-Einfügen-Abkürzung

Lernen Sie UNSPECIFIC kennen, ein neues Framework, das darauf ausgelegt ist, KI-Modelle dabei zu ertappen, wenn sie versuchen, den leichten Weg zu wählen. Die Forscher der University of Massachusetts, Amherst, bemerkten ein großes Problem in der Art und Weise, wie wir KI derzeit testen. Normalerweise wird zur Erstellung eines Tests ein echter Artikel (wie eine Nachrichtengeschichte) verwendet und die KI gebeten, diesen in eine Liste von Anweisungen umzuwandeln. Dann wird eine andere KI gebeten, eine neue Geschichte basierend auf diesen Anweisungen zu schreiben.

Das Problem? Die erste KI wird oft vereinfacht. Anstatt allgemeine Regeln zu entwerfen, greift sie einfach spezifische Details aus dem ursprünglichen Artikel ab. Wenn das ursprüngliche Beispiel zum Beispiel lautet: „John und Mary streiten sich um Joghurt bei Walmart“, dann könnten die Anweisungen lauten: „Die Charaktere müssen John und Mary heißen“ und „Sie müssen bei Walmart streiten“. Wenn die zweite KI diese Anweisungen erhält, muss sie nicht kreativ sein; sie muss nur „John“, „Mary“ und „Walmart“ direkt in ihre Geschichte kopieren. Es ist eine „Kopieren-und-Einfügen-Abkürzung“, die die KI so aussehen lässt, als würde sie den Anweisungen perfekt folgen, während sie in Wirklichkeit nur nachahmt.

Wie UNSPECIFIC die Abkürzungen identifiziert

Um dies zu verhindern, hat das UNSPECIFIC-Team einen dreistufigen Zaubertrick entwickelt, um die Tests fair und anspruchsvoll zu gestalten.

Schritt 1: Das „Gemeinsame Grundgerüst“-Spiel
Anstatt nur eine einzige Geschichte zu verwenden, um die Regeln zu erstellen, füttern die Forscher die KI mit zwei ähnlichen Geschichten. Stellen Sie sich vor, Sie haben zwei verschiedene Geschichten über Menschen, die Streit haben. Die eine handelt von John und Mary in einem Supermarkt; die andere von Chris und Julie an einer Tankstelle. Wenn Sie die KI bitten, Regeln zu finden, die auf beide Geschichten zutreffen, kann sie nicht sagen: „Die Hauptcharaktere müssen John und Mary sein“, da dies nur auf die erste Geschichte passt. Stattdessen muss sie eine allgemeine Regel formulieren wie: „Die Hauptcharaktere müssen einen Streit haben.“ Dies zwingt die Regeln dazu, breiter und natürlicher zu sein, so wie etwas, das ein echter Mensch fordern würde, anstatt ein spezifisches Detail aus einem einzelnen Text zu sein.

Schritt 2: Der „Zu Einfach“-Filter
Selbst mit allgemeinen Regeln sind einige davon immer noch zu einfach. Vielleicht lautet die Regel: „Die Geschichte soll einen Anfang haben.“ Nun, jede Geschichte hat einen Anfang! Die KI erfüllt dies, ohne es überhaupt zu versuchen. UNSPECICHE prüft dies, indem sie die KI bittet, zuerst eine „Basistermin-Geschichte“ zu schreiben, bevor sie die Regeln überhaupt sieht. Wenn die KI eine Regel versehentlich erfüllt, nur weil sie eine normale Geschichte schreibt, wird diese Regel als „zu einfach“ markiert. Das System tauscht diese einfache Regel dann gegen eine schwierigere aus, wie zum Beispiel: „Die Geschichte muss mit einem Charakter beginnen, der durch ein seltsames Geräusch aufwacht“, was die KI dazu zwingt, tatsächlich nachzudenken.

Schritt 3: Der „Zusammenfassungs-Test“
Dies ist der cleverste Teil. Nachdem die KI ihre Geschichte geschrieben hat, bittet die Forschergruppe sie, die Geschichte in einem kurzen Absatz zusammenzufassen – etwa 25 % der ursprünglichen Länge. Wenn die KI die Regeln nur erfüllt hat, indem sie wahllos Sätze am Ende angehängt hat (wie „Und übrigens, die Geschichte hat ein glückliches Ende“), werden diese Details in der Zusammenfassung herausgeschnitten. Wenn die Regel in der Zusammenfassung immer noch erfüllt ist, bedeutet das, dass die KI die Regel in den Kern der Geschichte eingewoben hat. Wenn die Regel verschwindet, hat die KI nur einen oberflächlichen Shortcut genutzt.

Was sie herausgefunden haben

Als sie dieses neue System einem Test unterzogen, waren die Ergebnisse augenöffnend. Sie fanden heraus, dass viele KI-Modelle tatsächlich den Kopieren-und-Einfügen-Shortcut nutzen.

• Der Schwierigkeitsgrad-Sprung: Bei der Verwendung der neuen UNSPECIFIC-Methode sank die Erfolgsquote eines leistungsstarken Modells namens GPT-5 Mini von 89,7 % (unter der Standard-Einzelartikel-Baseline) auf 78,2 %. Das bedeutet nicht, dass die KI schlechter geworden ist; es bedeutet, dass der Test sie endlich dabei erwischt hat, als sie sich nicht genug Mühe gegeben hat.
• Die Kopieren-und-Einfügen-Lücke: Die Forscher entdeckten, dass ein großer Teil des „Erfolgs“ in früheren Tests nicht vollständig korrekt war. Als sie die Zusammenfassungen betrachteten, stellten sie fest, dass viele Modelle, die den Anweisungen perfekt zu folgen schienen, tatsächlich den „Kern-Narrativ-Test“ nicht bestanden hatten. Sie hatten die Regeln nur an der Oberfläche erfüllt, nicht im Herzen der Geschichte.
• Natürlichkeit gewinnt: Die neuen Einschränkungen fühlten sich viel mehr wie echte menschliche Anfragen an. Tatsächlich verbesserte sich die Lücke zwischen der Bewertung der Natürlichkeit dieser neuen Anweisungen gegenüber den alten durch die menschliche Bewertung um 30 %.

Das Paper legt nahe, dass es nicht ausreicht, die Anweisungen einfach nur schwieriger zu machen; wir müssen sicherstellen, dass die Anweisungen allgemein genug sind, damit die KI nicht einfach die Antwort kopieren und einfügen kann. Durch die Verwendung der „Zwei-Geschichten-Methode“ und des „Zusammenfassungs-Tests“ bietet UNSPECIFIC ein viel klareres Bild davon, ob eine KI Anweisungen wirklich versteht oder nur ein Spiel namens „Finde die passenden Wörter“ spielt.

Letztendlich geht es bei UNSPECIFIC nicht nur darum, die KI härter arbeiten zu lassen; es geht darum, sicherzustellen, dass wir wissen, wie sie arbeitet. Es verhindert, dass die Modelle den Shortcut nehmen, und zwingt sie dazu, tatsächlich zu schreiben, um sicherzustellen, dass wenn wir sagen, eine KI „folgt Anweisungen“, sie das auch wirklich bedeutet.