Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, hilfreich, freundlich und klug zu sein. Sie können ihn nicht einfach mit einem starren Regelbuch programmieren, da menschliche Vorlieben chaotisch und kompliziert sind. Stattdessen zeigen Sie dem Roboter tausende von Beispielen für „gute“ gegenüber „schlechten“ Antworten und lassen ihn lernen, was Menschen mögen. Dies ist die Welt des Reinforcement Learning from Human Feedback (RLHF), einer Technik, die hilft, riesige KI-Chatbots mit unseren Werten in Einklang zu bringen. Um dies zu erreichen, nutzt die KI ein „Belohnungsmodell“ (Reward Model), das wie ein strenger Lehrer fungiert, der die Hausaufgaben des Roboters bewertet. Aber hier ist der knifflige Teil: Manchmal ist dieser Lehrer eine „Black Box“. Wir wissen, dass er eine hohe Punktzahl für eine gute Antwort gibt, aber wir wissen nicht, warum er sich so entschieden hat. War es, weil die Antwort lustig war? Weil sie höflich war? Oder weil sie einem bestimmten Format folgte?

Um dies zu lösen, versuchten Forscher kürzlich, ein „Mixture-of-Experts“ (MoE) Belohnungsmodell aufzubauen. Stellen Sie sich dies nicht als einen einzigen riesigen Lehrer vor, sondern als ein Klassenzimmer mit 20 verschiedenen Spezialisten. Wenn eine Frage eingeht, entscheidet ein „Router“ (wie ein Schulleiter), welcher Spezialist die Frage bewerten soll. Vielleicht ist ein Experte großartig in Mathematik, ein anderer in kreativem Schreiben und ein dritter in der Erteilung von Rechtsberatung. Das Ziel war es, diese Experten verständlich zu machen, indem man untersuchte, welche Fragen sie erhielten. Doch wie das Paper, das wir gleich untersuchen werden, nahelegt, reicht es nicht aus, nur zu wissen, wer die Frage erhalten hat, um zu verstehen, wie sie die Antwort bewertet haben.

Dieses Paper mit dem Titel „Beyond Routing Weights“ führt einen neuen Weg ein, um in den Geist dieser KI-Spezialisten hineinzublicken. Die Autoren, ein Team der Universität Saarland und anderer Institutionen, argumentieren, dass es, die Experten lediglich danach zu beurteilen, welche Fragen sie erhalten haben, so ist, als würde man einen Koch nur nach den Zutaten beurteilen, die ihm übergeben wurden, ohne das Gericht zu probieren. Sie schlagen stattd dessen eine Methode namens Contribution-Contrast (CoCo) vor. CoCo betrachtet die spezifischen Momente, in denen die Meinung eines Spezialisten den entscheidenden Unterschied zwischen einer „guten“ und einer „schlechten“ Antwort ausmachte. Durch den Vergleich dieser Paare offenbart CoCo genau, worauf der Experte Wert legt – ob es „Prägnanz“ ist oder „schrittweise Logik“. Die Forscher testeten dies an zwei großen Datensätzen und fanden heraus, dass CoCo ein viel klareres, ehrlicheres und detaillierteres Bild davon liefert, was diese KI-Experten tatsächlich tun, ohne die KI bei ihrer Arbeit weniger genau zu machen.

Das Problem: Der „Schulleiter“ vs. der „Koch“

In der Welt der KI-Belohnungsmodelle ist das „Mixture-of-Experts“-Setup wie eine Schule mit einem Schulleiter und vielen Lehrern. Der Schulleiter (der Router) liest die Frage eines Schülers und entscheidet, welcher Lehrer am besten geeignet ist, sie zu bewerten. Wenn die Frage etwas mit Kochen zu tun hat, schickt der Schulleiter sie an den „Kulinarik-Experten“. Wenn es um Programmierung geht, geht sie an den „Programmier-Experten“.

Lange Zeit glaubten Forscher, sie könnten diese Experten verstehen, indem sie einfach die Notizen des Schulleiters lesen. Sie würden sagen: „Ah, der Kulinarik-Experte bekommt meist Fragen zum Backen, also muss er der ‚Back-Experte‘ sein.“ Dies nennt man das Betrachten der Routing-Gewichte (Routing Weights).

Doch die Autoren dieses Papers erkannten, dass dies ein wenig so ist, als würde man einen Koch nur nach den Zutaten beurteilen, die er bekommen hat, statt nach der Mahlzeit, die er gekocht hat. Nur weil der Kulinarik-Experte eine Frage zum Backen erhalten hat, sagt das noch nichts darüber aus, wie er die Antwort bewertet hat. Bevorzugte er detaillierte Rezepte? Hasste er lange Erklärungen? Achtete er auf Sicherheitshinweise? Die Routing-Gewichte sagen nur, wer die Arbeit erhalten hat, nicht aber, wie sie ausgeführt wurde. Es ist eine unvollständige Geschichte, die den wichtigsten Teil auslässt: den eigentlichen Entscheidungsprozess.

Die Lösung: CoCo (Contribution-Contrast)

Um dies zu beheben, erfand das Team CoCo, was für Contribution-Contrast steht. Anstatt nur zu fragen: „Welcher Experte hat diese Frage erhalten?“, fragt CoCo: „Welcher Experte hat den größten Unterschied darin gemacht, dass diese Antwort besser als jene war?“

Stellen Sie sich vor, Sie sind ein Preisrichter bei einem Kochwettbewerb. Sie haben zwei Gerichte: Eines ist eine perfekte Lasagne, das andere ist eine leicht angebrannte.

• Der alte Weg (Routing Weights): Sie schauen auf die Punktkarte und sehen, dass der „Italien-Experte“ für diese Runde eingeteilt wurde. Sie schließen daraus: „Der Italien-Experte mag Pasta.“ Aber Sie wissen nicht, ob er die Lasagne mochte, weil sie käsig war, weil sie heiß war oder weil sie Basilikum hatte.
• Der CoCo-Weg: Sie schauen auf die Punktkarte und sehen, dass der „Itien-Experte“ der Lasagne im Vergleich zum angebrannten Gericht einen massiven Punkteschub gegeben hat, während die anderen Experten weitgehend neutral blieben. CoCo sagt dann: „Aha! Der Italien-Experte liebt spezifisch käsige, heiße Pasta mit Basilikum.“

CoCo arbeitet, indem es die Antwortpaare findet, bei denen die Meinung eines Experten der entscheidende Faktor war. Es multipliziert zwei Dinge miteinander:

1. Wie wahrscheinlich es war, dass der Experte die Frage erhält (das Routing-Gewicht).
2. Wie stark die Punktzahl des Experten das Endergebnis verändert hat (der Unterschied zwischen der „guten“ und der „schlechten“ Antwort).

Durch die Konzentration auf diese hocheffektiven Momente kann CoCo eine Beschreibung des Experten generieren, die seinem tatsächlichen Verhalten treu ist. Es sagt nicht nur „Dieser Experte befasst sich mit Kochfragen“, sondern „Dieser Experte bevorzugt detaillierte, schrittweise Kochanweisungen gegenüber vagen Vorschlägen“.

Was sie herausfanden: Ein klareres Bild

Die Forscher testeten CoCo gegen andere Methoden, einschließlich der alten „Routing-Gewicht“-Methode und einigen anderen ausgeklügelten Techniken unter Verwendung von sogenannten „Sparse Autoencodern“ (die wie der Versuch sind, ein verborgenes Muster in einem riesigen Datenstapel zu finden). Sie testeten dies auf zwei riesigen Datensätzen: einem mit 700.000 Beispielen und einem aus Reddit.

Die Ergebnisse waren sehr deutlich. CoCo erzeugte Interpretationen, die:

• Treuer waren (Faithful): Die Beschreibungen stimmten mit dem überein, was die Experten tatsächlich im Entscheidungsprozess der KI taten. Als die Forscher den Experten aus der KI entfernten, änderte sich das Verhalten der KI exakt so, wie CoCo es vorhergesagt hatte.
• Spezialisierter waren: Die durch CoCo beschriebenen Experten hatten sehr unterschiedliche Persönlichkeiten. Einer könnte die „strenge Grammatikpolizei“ sein, während ein anderer der „kreative Geschichtenerzähler“ ist. Die anderen Methoden erzeugten oft vage oder repetitive Beschreibungen.
• Genauso genau waren: Entscheidend ist, dass die Verwendung von CoCo, um die Experten zu verstehen, die KI nicht schlechter in ihrer Aufgabe machte. Das Belohnungsmodell blieb genauso gut darin, die besten Antworten auszuwählen.

In menschlichen Tests, bei denen Menschen die Beschreibungen der Experten lasen, bewerteten sie die Beschreibungen von CoCo als die kohärentesten und nützlichsten. Sie konnten tatsächlich verstehen, worin jeder „Lehrer“ im Klassenzimmer gut war.

Warum das wichtig ist

Dieses Paper legt nahe, dass wir, wenn wir wirklich verstehen wollen, wie eine KI Entscheidungen trifft, über die Oberfläche hinausblicken müssen. Nur zu wissen, welches Thema ein KI-Experte behandelt, reicht nicht aus; wir müssen wissen, wie er die Qualität einer Antwort bewertet. CoCo bietet eine Möglichkeit, dies zu tun, ohne die KI neu trainieren oder komplexe neue Schichten hinzufügen zu müssen. Es ist ein Werkzeug zur „Auditierung“ der KI, das uns hilft zu sehen, ob unsere digitalen Lehrer tatsächlich das lehren, was wir denken.

Die Autoren weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der die „wahren“ verborgenen Gedanken der KI offenbart. Die Qualität der Erklärung hängt davon ab, wie gut die KI ursprünglich trainiert wurde. Wenn die Trainingsdaten chaotisch sind, könnten auch die Experten chaotisch sein. Dennoch bietet CoCo innerhalb der Grenzen der aktuellen Technologie das ehrlichste und detaillierteste Fenster in den Geist dieser spezialisierten KI-Belohnungsmodelle. Es führt uns weg vom bloßen Vermuten, was die Experten tun, basierend darauf, mit wem sie kommunizieren, hin zum Verständnis dessen, wie sie die geleistete Arbeit tatsächlich bewerten.