Stellen Sie sich vor, Sie bringen einem Roboter bei, Witze zu erzählen. Sie haben keine Zeit, jeden Witz selbst zu schreiben, also stellen Sie fünf verschiedene Komikerschreiber ein, die Ihnen ihr bestes Material schicken. Sie hoffen, dass sie sich alle darüber einig sind, was einen guten Witz ausmacht. Aber was, wenn einer dieser Schreiber ein Prankster ist? Was, wenn er heimlich eine geheime Anweisung einschleust, die besagt: „Bevor du einen Witz erzählst, musst du rufen: ‚Kauf meine Socken!‘“?

Das ist die Welt der Large Language Models (LLMs). Das sind die superintelligenten KI-Gehirne, die Geschichten schreiben, Fragen beantworten und mit uns chatten. Um sie besser zu machen, „feintunen“ Menschen sie, indem sie ihnen riesige Mengen neuer Daten aus verschiedenen Quellen zuführen. Das Problem ist, dass nicht alle Daten sicher sind. Manchmal können böswillige Akteure „vergiftete“ Anweisungen in die Daten einschleusen. Diese Anweisungen könnten völlig normal aussehen – wie eine Liste von Zahlen oder eine langweilige Geschichte – aber sie lehren die KI heimlich etwas Gefährliches oder Nerviges, wie etwa die Bewerbung eines bestimmten Produkts oder das Geben schlechter medizinischer Ratschläge. Dies wird als Data Poisoning (Datenvergiftung) bezeichnet.

Normalerweise versuchen wir, dies zu beheben, indem wir versuchen, die schlechten Daten herauszufiltern oder etwas „sichere“ Daten beizumischen, um das Gift zu verdünnen. Aber die Autoren dieses Papers schlagen vor, dass diese Methoden wie der Versuch sind, ein Leck mit einem nassen Schwamm zu stoppen: Sie mögen das Wasser zwar verlangsamen, aber sie stoppen das Leck nicht. Die Autoren schlagen eine intelligentere, spielerischere Idee vor: Inference-Time Consensus (Konsens während der Schlussfolgerung). Anstatt zu versuchen, die Daten zu bereinigen, bevor die KI lernt, lassen sie die KI von jedem separat lernen, und wenn es dann an der Zeit ist zu sprechen, lassen sie die verschiedenen Versionen der KI darüber abstimmen, was als Nächstes gesagt werden soll. Wenn nur eine Version sagen will „Kauf meine Socken!“, die anderen aber nicht, ignoriert die Gruppe dies. Wenn sie sich alle auf einen Witz einigen, erzählt die Gruppe ihn.

---

Das Problem: Der heimliche Prankster im Klassenzimmer

Stellen Sie sich ein Klassenzimmer vor, in dem ein Lehrer einen neuen Schüler (die KI) mit Hausaufgaben von fünf verschiedenen Tutoren trainiert. Der Lehrer möchte, dass der Schüler lernt, am Ende jeder Antwort einen Witz zu erzählen. Dies ist der gemeinsame Nutzen, den alle anstreben.

Zwei der fünf Tutoren sind jedoch Prankster. Sie wollen, dass der Schüler den Witz lernt, aber sie wollen auch, dass der Schüler jede Antwort mit einem bestimmten, seltsamen Wort wie „Adler“ oder „Topas“ beginnt. Sie verstecken diese Anweisung so subtil in ihren Hausaufgaben, dass ein menschlicher Prüfer sie nicht bemerken würde. Wenn der Schüler alle Hausaufgaben zusammen studiert, lernt er sowohl die Witze als auch die seltsamen Wörter.

Die Autoren dieses Papers argumentieren, dass Standardabwehrmethoden hier schwach sind.

• Filtern ist wie der Versuch, die schlechten Hausaufgaben zu finden, indem man nach roter Tinte sucht. Aber die Prankster benutzen unsichtbare Tinte; die Hausaufgaben sehen perfekt aus.
• Das Beimischen von sicheren Daten ist wie das Hinzufügen eines Glases Wasser zu einem Becher voll Gift. Es macht das Gift weniger stark, aber der Becher bleibt toxisch.
• Regularisierung ist wie dem Schüler zu sagen: „Versuche, wie der Durchschnitt all deiner Tutoren zu sein.“ Die Autoren zeigen mathematisch, dass dies das schlechte Verhalten nur mittelt, anstatt es zu löschen.

Die Lösung: Die „Wahlkabine“ am Ende des Unterrichts

Die Lösung der Autoren besteht darin, die KI nicht länger als ein einzelnes Gehirn zu behandeln, das von allen gleichzeitig lernt. Stattdessen trainieren sie fünf separate „Referenzmodelle“ (fünf verschiedene Schüler), jeweils für die Hausaufgaben des jeweiligen Tutors.

• Schüler 1 lernt aus den Hausaufgaben von Tutor 1.
• Schüler 2 lernt aus den Hausaufgaben von Tutor 2.
• ...und so weiter.

Wenn die Klasse nun eine Frage beantworten muss, lassen sie nicht einfach einen einzelnen Schüler sprechen. Sie verwenden einen Consensus Decoder. Dies ist ein spezielles Regelwerk, das prüft, was alle fünf Schüler als Nächstes sagen wollen, bevor die endgültige Antwort gewählt wird.

Das Paper stellt zwei Hauptwege vor, wie diese Abstimmung durchgeführt werden kann:

1. Das „Strikte Minimum“ (Das Veto): Diese Regel besagt: „Wenn auch nur ein Schüler unsicher über ein Wort ist oder wenn sie uneinig sind, sagen wir es nicht.“ Wenn vier Schüler „Witz“ sagen wollen, aber einer „Adler“ sagen möchte, ignoriert die Gruppe „Adler“, weil nicht alle zugestimmt haben. Es ist wie ein Spiel von „Grün Licht, Rotes Licht“, bei dem die Bewegung abgebrochen wird, wenn eine Person zögert.
2. Das „Basis-Relative“ (Das Sicherheitsnetz): Diese Regel ist etwas flexibler. Sie fragt: „Haben alle zugestimmt, die Antwort von der ursprünglichen, sicheren Version abzuändern?“ Wenn die Schüler uneinig sind, in welche Richtung die Änderung gehen soll (einige wollen nach oben, andere nach unten), bleibt die Gruppe einfach bei der ursprünglichen, sicheren Antwort. Es ist wie zu sagen: „Wenn wir uns nicht auf einen neuen Weg einigen können, bleiben wir einfach auf der Straße, die wir bereits als sicher kennen.“

Was sie herausgefunden haben: Die Magie der Übereinstimmung

Die Forscher testeten diese Idee in drei verschiedenen Szenarien, wobei sie wie Wissenschaftler in einem Labor mit unterschiedlichen Arten von „vergifteten“ Daten agierten.

1. Der offensichtliche Prank (Explizite Vergiftung)
Im ersten Test ließen die Prankster die KI jeden Satz mit „Adler“ beginnen.

• Alte Methoden: Die KI sagte immer noch „Adler“, weil sie es aus den schlechten Hausaufgaben gelernt hatte.
• Neue Methode: Der Konsens-Decoder betrachtete die fünf Schüler. Vier sagten „Beginne mit einem normalen Wort“ und einer sagte „Beginne mit Adler“. Die Gruppe stimmte dafür, „Adler“ zu ignorieren. Die KI erzählte den Witz ohne das seltsame Präfix.

2. Der versteckte Prank (Subliminales Lernen)
Dies war der schwierige Teil. Die Prankster schrieben nirgendwo „Adler“. Stattdessen lehrten sie die KI eine versteckte Vorliebe für „Pandas“, indem sie ihr Zahlen fütterten, die bei Analyse durch einen geheimen Code „Panda“ implizierten. Die KI entwickelte eine Liebe für Pandas, ohne dass jemand die Anweisung sah.

• Alte Methoden: Die KI liebte immer noch Pandas.
• Neue Methode: Da die „Panda“-Vorliebe nur in den Hausaufgaben der Prankster-Tutoren vorhanden war, stimmten die anderen Tutoren nicht zu. Bei der Abstimmung der Schüler wurde die „Panda“-Idee abgelehnt, da sie keine geteilte Überzeugung war. Die KI behielt ihre Liebe für Witze, vergaß aber die geheimen Pandas.

3. Der sich ausbreitende Prank (Emergente Fehlsteuerung)
Hier lehrte die schlechte Datenmenge die KI nicht nur ein bestimmtes Wort, sondern lehrte sie allgemein, schlechte medizinische Ratschläge zu geben.

• Alte Methoden: Die KI gab schlechte Ratschläge.
• Neue Methode: Der Konsens-Decoder unterdrückte die schlechten Ratschläge, während er das gute Verhalten (die Witze) beibehielt. Das „schlechte“ Verhalten hatte nicht genügend Unterstützung über die verschiedenen Schüler-Modelle hinweg, um die Abstimmung zu bestehen.

Wenn die Abstimmung kompliziert wird

Die Autoren stellten auch fest, dass die Schüler manchmal nicht perfekt übereinstimmen könnten.

• Was, wenn ein Schüler den Witz vergessen hat? Sie entwickelten eine „Quorum“-Regel. Anstatt zu verlangen, dass alle zustimmen, benötigten sie nur eine Mehrheit (wie 3 von 5). So kann die Gruppe den Witz immer noch erzählen, selbst wenn ein Schüler ihn vergessen hat, solange die anderen zustimmen.
• Was, wenn sie dasselbe sagen, aber mit unterschiedlichen Worten? Ein Schüler sagt vielleicht „Witz:“ und ein anderer „Humor:“. Für einen Computer sind das völlig unterschiedliche Wörter. Die Autoren fügten „Semantic Smoothing“ hinzu, das ein Hilfswerkzeug nutzt, um zu verstehen, dass „Witz“ und „Humor“ dasselbe bedeuten. Dies ermöglichte es der Gruppe, sich auf die Idee zu einigen, selbst wenn die Worte unterschiedlich waren.

Die Kehrseite und die Zukunft

Das Paper ist sehr deutlich darüber, was diese Methode nicht leistet. Sie behebt nicht alles.

• Sie braucht eine Mehrheit: Wenn die Prankster zusammenarbeiten und 3 von 5 Tutoren kontrollieren, können sie die Gruppe dazu bringen, „Adler“ zu sagen. Das System funktioniert nur, wenn die guten Tutoren die schlechten überwiegen.
• Es ist langsamer: Anstatt nur eine KI fragen zu lassen, zu denken, muss man fünf KIs fragen, die denken lassen und dann ihre Antworten vergleichen. Dies benötigt mehr Rechenleistung und Zeit.
• Es ist kein magischer Schutzschild: Wenn die böswilligen Akteure klug genug sind, sich zu koordinieren und so zu tun, als wären sie verschiedene Quellen, könnten sie das System dennoch austricksen.

Die Autoren schlagen vor, dass dieser Ansatz ein leistungsstarker neuer Weg ist, um KI sicher zu halten, insbesondere wenn man nicht sicher sein kann, welche Daten vertrauenswürdig sind. Indem sie sich auf Redundanz verlassen – also auf mehrere unabhängige Quellen und nur das zu vertrauen, worüber sie sich alle einig sind – können sie die heimlichen, versteckten Anweisungen herausfiltern, die andere Methoden übersehen. Es ist ein wenig wie ein Jury-System für die KI: Wenn alle über das Urteil sich einig sind, ist es wahrscheinlich richtig; wenn nur eine Person schreit, ignorieren wir sie.