Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine schlechte E-Mail zu erkennen. In der Welt der künstlichen Intelligenz haben wir diese superintelligenten „Large Language Models“ (LLMs), die wie Menschen lesen und schreiben können. Aber um sie für die Sicherheit wirklich nützlich zu machen, müssen wir sie aus ihren Fehlern lernen lassen, während sie im Einsatz sind – ein Prozess, der „Continual Learning“ (kontinuierliches Lernen) genannt wird. Normalerweise prüfen wir, ob ein Roboter lernt, indem wir ihm einen Test mit einem bekannten Lösungsschlüssel (gelabelte Daten) geben. Aber in der realen Welt der Cybersicherheit ändern die Bösewichte ihre Tricks jeden Tag, und wir haben selten einen perfekten Lösungsschlüssel. Wir erhalten nur dann Feedback, wenn der Roboter einen riesigen, offensichtlichen Fehler macht. Das stellt Sicherheitsteams vor ein Problem: Sie haben einen Roboter, der lernen muss, aber keine Möglichkeit zu messen, ob ihre neuen Lernwerkzeuge tatsächlich funktionieren oder alles nur schlimmer machen. Sie brauchen einen Weg, den Fortschritt zu messen, ohne einen Referenzschlüssel zu besitzen.

Dieses Paper widmet sich genau diesem Problem. Die Autoren schlagen einen cleveren Umweg vor: ein „Teacher-Student“-Setup (Lehrer-Schüler-Konfiguration). Anstatt darauf zu warten, dass ein Mensch die Arbeit bewertet, nutzen sie ein viel größeres, klügeres KI-Modell als „Lehrer“. Sie lassen diesen Lehrer die Arbeit eines kleineren „Schüler“-Modells bewerten. Die Idee ist: Wenn der Schüler nach der Nutzung eines neuen Lernwerkzeugs anfängt, sich ähnlich wie der kluge Lehrer zu verhalten, dann ist dieses Werkzeug wahrscheinlich gut. Das Paper legt nahe, dass diese „Lehrer-relative“ Verbesserung ein zuverlässiges Zeichen dafür ist, dass das Werkzeug auch mit echtem menschlichem Feedback gut funktionieren würde, selbst wenn keine menschlichen Labels existieren. Die Autoren sprechen jedoch auch eine deutliche Warnung aus: Ein anderes KI-Modell gleicher Größe als Richter einzusetzen, ist eine schlechte Idee. Diese „gleich starken“ Richter sind zu voreingenommen; sie bevorzugen ihre eigenen Art und können nicht erkennen, wenn ein Schüler sich tatsächlich verbessert hat.

Die Roboterschule und der fehlende Lösungsschlüssel

Tauchen wir ein in die Geschichte des „Learning Harness“ (Lern-Geschirr). Stellen Sie sich vor, Sie haben einen jungen Lehrlings-Roboter (den Schüler), der versucht zu lernen, Post zu sortieren. Er ist ziemlich gut, aber nicht perfekt. Um ihm zu helfen, besser zu werden, bringen Sie ihm ein „Learning Harness“ an. Dies ist keine magische Gehirn-Aufrüstung; es ist eher wie ein Rucksack voller Klebezettel. Jedes Mal, wenn der Roboter einen Fehler macht, schreibt ein Mensch (oder in diesem Fall ein klügerer Roboter) eine Notiz auf ein Klebezettel, die erklärt, warum er falsch lag und was die richtige Antwort ist. Der Roboter betrachtet diese Notizen dann, wenn er vor einem neuen, ähnlichen Problem steht.

Das Problem ist: In der realen Welt sind Menschen beschäftigt. Sie schreiben diese Notizen nur, wenn der Roboter einen wirklich schlimmen Fehler macht, der eine Krise auslöst. Das bedeutet, der Roboter erhält nur sehr wenige Notizen, und diese kommen zu zufälligen Zeiten. Wie wissen Sie also, ob der Rucksack voller Notizen dem Roboter tatsächlich beim Lernen hilft?

Normalerweise würden Sie dem Roboter einen Test mit einem Lösungsschlüssel geben. Aber in der Cybersicherheit existiert dieser Lösungsschlüssel noch gar nicht, weil die Bedrohungen neu sind. Sie können nicht auf einen perfekten Test warten; Sie müssen jetzt wissen, ob das Lernsystem funktioniert.

Der Lehrer-Schüler-Trick

Die Autoren dieses Papers kamen auf eine brillante Lösung: Die Scaling Hypothesis (Skalierungshypothese). Denken Sie an dies wie an eine Roboterfamilie. Sie haben einen winzigen Junior-Roboter (den Schüler) und einen riesigen Senior-Roboter (den Lehrer) aus derselben Familie. Da der Senior-Rober größer ist und mehr Daten gesehen hat, ist er fast immer klüger.

Hier ist das Experiment, das sie durchführten:

1. Sie nahmen eine Reihe von E-Mils und baten den Lehrer, diese zu sortieren. Da der Lehrer so klug ist, behandelten die Autoren die Antworten des Lehrers als die „Wahrheit“ (obwohl sie keinen menschlichen Lösungsschlüssel hatten).
2. Sie gaben dem Schüler dieselben E-Mails.
3. Sie ließen den Schüler Fehler machen und gaben ihm dann ein paar „Klebezettel“ (Korrekturen) basierend darauf, was der Lehrer als richtig bezeichnet hatte.
4. Sie beobachteten, ob der Schüler besser darin wurde, die Antworten des Lehrers nachzuahmen.

Die große Frage war: Bedeutet es eine Verbesserung, dem Lehrer zu entsprechen, dass der Schüler tatsächlich besser in der eigentlichen Aufgabe wird?

Um das herauszufinden, führten sie einen geheimen Test durch. Sie hatten einige E-Mails mit echten menschlichen Lösungsschlüsseln (dem „Goldstandard“), die sie während des Lernprozesses verborgen hielten. Sie prüften, ob die Verbesserung des Schülers in Richtung des Lehrers mit seiner Verbesserung in Richtung der echten menschlichen Antworten übereinstimmte.

Das Ergebnis: Es funktionierte! Das Paper fand eine starke Verbindung. Wenn der Schüler lernte, den Lehrer nachzuahmen, verbesserte er sich auch bei dem echten menschlichen Test. Dies deutet darauf an, dass, wenn Sie ein superintelligentes KI-Modell verwenden, um Ihr Lernsystem zu bewerten, und das System sich verbessert, Sie darauf vertrauen können, dass es auch mit echtem menschlichem Feedback besser werden würde. Es ist wie zu sagen: „Wenn mein Schüler anfängt, wie mein genialer Professor zu denken, dann lernt er wahrscheinlich etwas Wertvolles, selbst wenn ich noch nicht die Abschlussprüfung habe.“

Die Falle des „Gleichstarken“ Richters

Aber es gab eine Wendung. Die Autoren testeten auch eine andere Idee, die viele Leute verwenden: LLM-as-a-Judge. Dies ist, wenn man einen Roboter der gleichen Größe und Intelligenz wie den Schüler fragt, um zu entscheiden, welche Version besser ist: die mit dem Lern-Rucksack oder die ohne.

Stellen Sie sich vor, Sie fragen zwei 10-Jährige, wer besser in Mathe ist. Wenn einer von ihnen einen Lösungsschlüssel hat, wird der andere es bemerken? Das Paper fand heraus: Nein, das würden sie nicht.

Als die Autoren einen „gleich starken“ Richter verwendeten, waren die Ergebnisse ein Chaos:

• Bias (Voreingenommenheit): Die Richter wählten oft einfach die erste Antwort, die sie sahen, ungeachtet dessen, ob sie richtig war oder nicht.
• Selbstpräferenz: Die Richter neigten dazu, die Antworten des Roboters zu bevorzugen, der ähnlich wie sie selbst war (der ohne den Rucksack), und lehnten die verbesserte Version ab.
• Zuverlässigkeit: Wenn der Richter richtig lag, war er nur etwa die Hälfte der Zeit richtig (48 % bei einigen Modellen, was im Grunde einem Münzwurf entspricht).

Das Paper schließt die Verwendung einer gleich großen KI als Richter für diese Aufgabe explizit aus. Es legt nahe, dass ein Roboter nicht zuverlässig erkennen kann, wenn sich ein anderer Roboter seines eigenen Niveaus verbessert hat. Es ist wie ein Mensch, der die Antwort nicht kennt und eine Prüfung bewerten soll; er kann einfach nicht zwischen einer guten Vermutung und einer großartigen Antwort unterscheiden.

Was dies für die Zukunft bedeutet

Die Autoren sind vorsichtig damit, dies als ein magisches Allheilmittel darzustellen, das alle Probleme für immer löst. Sie schlagen vor, dass diese „Lehrer-Schüler“-Methode ein gültiger Weg ist, um Lernwerkzeuge zu messen, wenn man keine Labels besitzt. Sie zeigten, dass der Test umso zuverlässiger wird, je größer die Kluft in der Intelligenz zwischen dem Lehrer und dem Schüler ist. Wenn der Lehrer nur geringfügig klüger ist, wird der Test ungenau.

Sie weisen auch darauf hin, dass dies am besten funktioniert, wenn die Korrekturen „spärlich“ (sparse) und „hochpräzise“ sind – das heißt, nur die wirklich wichtigen Fehler werden korrigiert, genau wie in der realen Welt.

Das Fazit für den neugierigen Teenager lautet also: In einer Welt, in der wir nicht immer einen perfekten Lösungsschlüssel bekommen können, können wir eine „superintelligente“ KI nutzen, um unsere Lernwerkzeuge zu bewerten. Wenn das Werkzeug dem Schüler hilft, sich ähnlich wie die superintelligente KI zu verhalten, ist es wahrscheinlich ein gutes Werkzeug. Aber bitten Sie nicht eine durchschnittliche KI, über ihre Freunde zu urteilen; sie werden einfach voreingenommen sein und die Verbesserung übersehen. Dies gibt Sicherheitsteams einen neuen Weg, bessere, selbstlernende Roboter zu bauen, ohne eine Bergung an menschlich gelabelten Daten zu benötigen.