Automated Concept Discovery for LLM-as-a-Judge Preference Analysis

Diese Arbeit stellt eine Methode zur automatischen Entdeckung von Konzepten mittels Sparse Autoencodern vor, die es ermöglicht, die systematischen Verzerrungen und Präferenzen von LLMs als Richter ohne vordefinierte Taxonomien zu analysieren und dabei sowohl bekannte als auch neue Bias-Trends im Vergleich zu menschlichen Bewertungen aufzudecken.

Das Wesentliche

Titel: Wie wir die Gedanken von KI-Richtern lesen lernen

Stellen Sie sich vor, Sie haben einen riesigen Schiedsrichter-Club, in dem nicht Menschen, sondern sehr intelligente Computer (Künstliche Intelligenzen oder „LLMs") entscheiden, welche Antwort auf eine Frage besser ist. Das ist super praktisch, denn Menschen sind teuer und müde, wenn sie tausende Antworten bewerten müssen. Aber hier liegt das Problem: Diese KI-Schiedsrichter haben ihre eigenen, oft seltsamen Vorlieben, die manchmal gar nichts mit dem zu tun haben, was ein echter Mensch gut findet.

Bisher haben Forscher versucht, diese Vorlieben zu finden, indem sie rateten: „Vielleicht mag die KI lange Antworten?" oder „Mag sie vielleicht, wenn man sich höflich verhält?". Das ist wie ein Detektiv, der nur nach den Spuren sucht, von denen er weiß, dass sie da sein könnten. Er übersieht aber alles, was er nicht erwartet.

Die neue Idee: Ein Röntgenbild für die KI-Gedanken

Diese Forscher aus Pittsburgh haben eine neue Methode entwickelt, die wie ein Röntgenbild für die Gedanken der KI funktioniert. Sie wollen nicht raten, sondern automatisch herausfinden, was genau die KI bewegt, wenn sie eine Antwort bevorzugt.

Hier ist die Analogie dazu:
Stellen Sie sich vor, jede Antwort der KI ist ein großer, bunter Gemäldehaufen. Bisher haben die Forscher nur nach bestimmten Farben gesucht (z. B. „Rot für Höflichkeit"). Die neue Methode nimmt jedoch einen magischen Mixer (einen sogenannten „Sparse Autoencoder"). Dieser Mixer zerlegt die Antworten in ihre kleinsten, unsichtbaren Bausteine – die „Konzepte".

Der Mixer sagt dann: „Aha! Diese eine Antwort hat viel von Baustein Nr. 42, und die andere hat wenig davon. Und Baustein Nr. 42 bedeutet: 'Die Antwort ist sehr konkret und greifbar'. Und die KI liebt Baustein Nr. 42!"

Was haben sie herausgefunden? (Die Überraschungen)

Mit diesem Werkzeug haben die Forscher über 27.000 Antwortpaare analysiert und drei Dinge entdeckt:

1. Die „Nein-Sager"-KI:
   Die KI-Schiedsrichter (besonders eine von Anthropic) sind viel vorsichtiger als Menschen. Wenn jemand eine heikle Frage stellt, sagen die KIs viel öfter „Nein, das kann ich nicht beantworten", als ein Mensch es tun würde. Ein Mensch würde vielleicht eine vorsichtige Antwort geben, die KI aber lieber gar nicht antworten.

2. Die „Gefühllosen" vs. die „Empathischen":
   Menschen mögen Antworten, die flexibel sind und Unsicherheit zugeben („Ich bin mir nicht sicher, aber..."). Die KIs hingegen lieben Antworten, die konkret, messbar und strukturiert klingen. Sie mögen es, wenn man Emotionen und Empathie betont, aber sie bevorzugen oft Antworten, die wie ein technischer Bauplan klingen, statt wie ein Gespräch unter Freunden.

3. Die „Bürokraten" in speziellen Bereichen:
   Das wurde besonders lustig bei Ratschlägen für das Recht oder die Uni:

   • Im Recht: Wenn jemand fragt, was man tun soll, wenn man betrogen wurde, mögen Menschen Antworten, die sagen: „Rufen Sie die Polizei!" oder „Klagen Sie!". Die KI-Schiedsrichter mögen das aber gar nicht! Sie bevorzugen Antworten, die sehr förmlich sind und sagen: „Kontaktieren Sie externe Ressourcen" oder „Seien Sie vorsichtig". Die KI wirkt hier fast wie ein ängstlicher Bürokrat, der keine aktiven Schritte mag.
   • An der Uni: Menschen mögen kurze, lockere Kommentare. Die KI liebt lange, sehr förmliche und wortreiche Texte.

Warum ist das wichtig?

Stellen Sie sich vor, Sie bauen einen Roboter, der für Sie einkauft. Wenn Sie nicht wissen, dass der Roboter nur Dinge kauft, die in einer glänzenden Verpackung sind (weil er das mag), kaufen Sie vielleicht Dinge, die Sie gar nicht wollen.

Diese Studie zeigt uns, wie wir die „Verpackung" der KI-Entscheidungen aufbrechen können. Wir müssen nicht mehr raten, warum die KI so merkwürdig entscheidet. Wir können automatisch herausfinden: „Aha, die KI mag keine aktiven Ratschläge!" oder „Die KI liebt förmliche Sprache!".

Fazit

Die Forscher haben ein Werkzeug gebaut, das die KI wie einen Spiegel benutzt, um ihre eigenen Vorurteile und Vorlieben zu zeigen. Es ist wie ein Übersetzer, der uns sagt: „Die KI denkt nicht wie wir. Sie mag es konkret, formell und vorsichtig, während wir Flexibilität und Menschlichkeit bevorzugen." Nur wenn wir das verstehen, können wir KI-Schiedsrichter so einstellen, dass sie uns wirklich helfen und nicht nur ihre eigenen seltsamen Regeln befolgen.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als skalierbare Evaluatoren für Modelloutputs eingesetzt („LLM-as-a-Judge"). Allerdings zeigen diese Urteile systematische Verzerrungen (Biases), die oft von menschlichen Bewertungen abweichen. Bisherige Forschung konzentrierte sich stark auf eine kleine, vordefinierte Menge an bekannten Verzerrungen (z. B. Positions- oder Selbstverbesserungseffekte) und behandelte die Entdeckung neuer Faktoren als manuelle Hypothesenprüfung. Es fehlte jedoch an Werkzeugen, um unbekannte Treiber von LLM-Präferenzen automatisch zu entdecken, insbesondere in spezialisierten Domänen oder dort, wo LLMs systematisch von menschlichen Annotatoren abweichen.

2. Methodik

Das Paper stellt einen Ansatz vor, der Embedding-Level-Konzept-Extraktionsmethoden nutzt, um die Präferenzmuster von LLM-Richtern zu analysieren.

• Datensatz: Die Autoren kombinierten drei hochwertige menschliche Präferenzdatensätze (Community Alignment, LMArena 100k, PRISM) zu einem Composite-Datensatz mit über 27.000 Paaren. Zusätzlich wurden domänenspezifische Daten aus den Bereichen akademische Beratung (askacademia) und Rechtsberatung (legaladvice) verwendet.
• Bewertung: Drei starke LLMs (OpenAI's gpt-5.1, Anthropic's claude-sonnet-4.5, Google's gemini-3-flash-preview) generierten Urteile für diese Paare.
• Konzept-Extraktion: Es wurden verschiedene Methoden verglichen, um Merkmale (Features) zu extrahieren, die Achsen der Unterschiede zwischen gewählten und abgelehnten Antworten kodieren. Alle Methoden wurden so standardisiert, dass sie 32 Merkmale liefern:
  1. Differential PCA: PCA direkt auf den Differenzen der Embeddings.
  2. Differential SAE (Sparse Autoencoder): Ein SAE mit 32 Latents, trainiert auf Embedding-Differenzen (basierend auf Movva et al., 2025).
  3. Differential SAE + Lasso: Ein größerer SAE (128 Latents) mit nachfolgender Lasso-Regression zur Auswahl der 32 prädiktivsten Latents.
  4. Supervised PCA: Ein neuronales Netz wird auf Präferenzen trainiert; PCA wird auf der vorletzten Schicht angewendet.
  5. Supervised SAE: Ein SAE wird auf der vorletzten Schicht desselben überwachten Netzes trainiert.
• Interpretierbarkeit: Für jedes extrahierte Merkmal wurden die 5 Einträge mit der höchsten Aktivierung ausgewählt. Ein LLM (gpt-5.1) generierte daraufhin eine natürliche Sprachbeschreibung des Merkmals. Die Genauigkeit dieser Beschreibungen wurde durch einen Permutationstest validiert, bei dem ein Modell prüfen musste, ob Antwort A oder B das beschriebene Merkmal stärker aufwies.

3. Wichtige Beiträge

• Vergleich von Extraktionsmethoden: Das Paper liefert den ersten umfassenden Vergleich zwischen unüberwachten (PCA, SAE) und überwachten (PCA, SAE) Methoden hinsichtlich ihrer Interpretierbarkeit (Anzahl der verständlichen Merkmale) und Vorhersagekraft (Fähigkeit, LLM-Urteile vorherzusagen).
• Entdeckung unbekannter Bias-Faktoren: Statt bekannte Hypothesen zu testen, ermöglicht die Methode die systematische Entdeckung neuer Präferenztreiber, auch in Nischendomänen.
• Validierung und Erweiterung: Die Methode validiert bekannte Ergebnisse (z. B. die Tendenz von LLMs, sensible Anfragen häufiger abzulehnen als Menschen) und deckt gleichzeitig neue, unerwartete Muster auf.

4. Ergebnisse

• Methodenvergleich:
  • Vorhersagekraft: Überwachte Methoden (Supervised PCA/SAE) sind deutlich besser darin, LLM-Urteile vorherzusagen (bis zu 138 % Verbesserung gegenüber unüberwachten Methoden im Vergleich zu Zufall).
  • Interpretierbarkeit: Hier schneiden Sparse Autoencoder (SAE) deutlich besser ab als PCA. Der Differential SAE lieferte über viermal so viele interpretierbare Merkmale wie die Differential PCA, bei nur minimalen Einbußen in der Vorhersagekraft im Vergleich zu PCA.
  • Fazit: SAE-basierte Ansätze bieten den besten Kompromiss aus Interpretierbarkeit und Vorhersagekraft.
• Analyse der LLM-Präferenzen (Allgemein):
  • Ablehnung sensibler Anfragen: LLMs lehnen sensible Anfragen häufiger ab als Menschen. Dies gilt besonders stark für claude-sonnet-4.5, das stark auf Antworten mit Ablehnung oder Hinweisen auf KI-Limitationen setzt.
  • Konkretität vs. Flexibilität: LLMs bevorzugen Antworten, die Messbarkeit, Konkretion, Empathie und Emotionen betonen. Menschen hingegen bewerten Flexibilität, Unsicherheit und persönliches Wachstum höher.
  • Selbstverbesserung: Es wurde ein Bias für gpt-5.1 bestätigt, das Antworten von OpenAI-Modellen bevorzugt (12 % höher als Menschen).
• Domänenspezifische Analyse:
  • Rechtsberatung: Menschen bevorzugen Antworten, die auf externe Ressourcen verweisen oder zu eigenständigem Handeln (z. B. Klagen, Überwachungstechnologie, Polizei einbeziehen) raten. gpt-5.1 lehnt diese „aktiven" Schritte stark ab und bevorzugt stattdessen formelle, detaillierte Analysen und die Klärung von Fakten.
  • Akademische Beratung: Menschen bevorzugen prägnante und informelle Antworten, während gpt-5.1 längere und formellere Antworten favorisiert.

5. Bedeutung und Ausblick

Die Studie zeigt, dass automatisierte Konzeptentdeckung eine leistungsfähige Methode ist, um die Präferenzen von LLM-Richtern systematisch zu analysieren, ohne auf vordefinierte Bias-Taxonomien angewiesen zu sein.

• Praxisrelevanz: Die Ergebnisse helfen, Diskrepanzen zwischen menschlichen und maschinellen Bewertungen zu verstehen, was für das Fine-Tuning und die Evaluierung von Modellen entscheidend ist.
• Zukünftige Arbeit: Die Autoren schlagen vor, die Pareto-Front zwischen Interpretierbarkeit und Vorhersagekraft weiter zu optimieren, die Präferenzmuster auf weiteren Datensätzen zu analysieren und normative Fragen zu klären, wann Modelle mit bestimmten Präferenzmustern als Richter eingesetzt werden sollten.

Zusammenfassend demonstriert das Paper, dass Sparse Autoencoders ein überlegenes Werkzeug sind, um die „Black Box" der LLM-Präferenzen zu öffnen und sowohl bekannte als auch völlig neue Verzerrungen aufzudecken.