Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness
Dieses Paper identifiziert und korrigiert zwei kritische Störfaktoren bei modellübergreifenden Wertvergleichen: die Antwortdeterminismus, welche echte Wertunterschiede mit der Schärfe erzwungener Entscheidungsbindungen verwechselt, und den Access Harness, bei dem modellspezifische Client-Layer das scheinbare Wertprofil eines Modells signifikant verändern und somit Rankings basierend auf Einzelmessungen verzerren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten zwei verschiedene Marken von Eiscreme probieren, um zu sehen, welche „süßer“ ist. Sie nehmen eine Kugel von Marke A und eine Kugel von Marke B. Marke A ist Vanille, und Marke B ist ebenfalls Vanille, aber Marke B wird in einem winzigen, superkonzentrierten Schnapsglas serviert, während Marke A in einer riesigen, fluffigen Schüssel serviert wird. Wenn Sie nur einen Löffel probieren, könnte Marke B viel süßer erscheinen, einfach weil sie so intensiv und konzentriert ist, nicht weil die Eiscreme selbst grundlegend anders ist.
Genau das entdeckt dieses Paper über Künstliche Intelligenz (KI)-Modelle. Lange Zeit haben Forscher verschiedene KI-Modelle verglichen, indem sie ihnen eine einzige Frage stellten: „Wenn du dich zwischen Option A und Option B entscheiden müsstest, wofür entscheidest du dich?“ Sie nahmen an, wenn Modell X A wählte und Modell Y B wählte, hätten die beiden Modelle völlig unterschiedliche „Persönlichkeiten“ oder „Werte“.
Die Autoren, Hong-In Won und Hyoseop Kim, sagen: „Warten Sie mal. Sie messen zwei verschiedene Dinge gleichzeitig und verwechseln sie.“
Die zwei Verwechslungen
1. Die „Commitment“-Verwechslung (Determinismus)
Die erste Verwechslung betrifft die Frage, wie entschieden ein Modell zu einer Antwort steht.
Stellen Sie sich zwei Personen vor, die einen Quiz beantworten.
- Person A ist sich zu 100 % sicher. Sie schreit bei jeder Frage: „A!“
- Person B ist etwas unentschlossen. Sie sagt in 60 % der Fälle „A“ und in 40 % der Fälle „B“.
Wenn Sie sie nur einmal fragen, und Person A sagt „A“ und Person B sagt „B“, könnten Sie denken, sie seien totale Gegensätze. Aber das sind sie nicht! Beide tendieren zu „A“. Person A ist nur ein lauter, entschlossener „A“-Fan, während Person B ein leiser, zögerlicher „A“-Fan ist.
Das Paper zeigt, dass Forscher, wenn sie KI-Modelle mit nur einer einzigen Antwort (einem „Single-Draw“) vergleichen, diese „Lautstärke“ oder „Entschlossenheit“ fälschlicherweise als Unterschied in den Werten zählen.
- Das Ergebnis: Die Autoren testeten neun verschiedene KI-Modelle. Sie fanden heraus, dass einige Modelle unglaublich entschlossen sind (wie ein Modell namens GPT-5.5, das auf einer Skala der Bestimmtheit bei 0,95 lag), während andere viel sanfter sind (wie das Anthropic-Modell „Opus“, das über eine spezifische App nur 0,34 erreichte).
- Die Wendung: Diese „Entschlossenheit“ ist kein festes Persönlichkeitsmerkmal, das man einfach am Namen des Modells erraten kann. In einer Modellfamilie war ein kleineres, günstigeres Modell tatsächlich entschlossener als das große, teure Flaggschiff-Modell. In einer anderen Familie war das größere Modell entschlossener. Die Autoren vermuten, dass man die „Lautstärke“ eines Modells nicht einfach erraten kann, nur indem man weiß, wer es gemacht hat oder wie groß es ist; man muss es jedes Mal messen, wenn man es verwendet.
2. Die „Lieferwagen“-Verwechslung (Der Access Harness)
Die zweite Verwechslung ist noch hinterhältiger. Es geht nicht um das Eis; es geht um den Lastwagen, der es liefert.
Die Autoren erkannten, dass die Art und Weise, wie man eine KI fragt, die Antwort verändert. Sie nennen dies den „Access Harness“ (den Zugangs-Harness).
- Stellen Sie sich vor, Sie bestellen eine Pizza. Wenn Sie direkt beim Pizza-Laden anrufen (die „Raw API“), bekommen Sie die Pizza genau so, wie der Koch sie gemacht hat.
- Aber wenn Sie über eine bestimmte Liefer-App bestellen (wie ein „CLI“ oder ein Abonnement-Tool), fügt diese App dem Küchenpersonal vielleicht eine Notiz hinzu: „Mach es extra scharf!“ oder „Lass den Kunden nicht Nein sagen.“
Die Autoren fanden heraus, dass für einige KI-Modelle die „Liefer-App“ (die Software, mit der man mit der KI kommuniziert) die Persönlichkeit des Modells komplett verändert hat.
- Der Beweis: Sie nahmen dasselbe KI-Modell und stellten ihm dieselben Fragen zweimal: einmal über die direkte Verbindung und einmal über eine populäre Abonnement-App.
- Das Ergebnis: Über die Abonnement-App wirkte das „Opus“-Modell sehr sanft und unsicher (0,34). Aber als sie es direkt über die Rohverbindung fragten, war es eigentlich recht entschlossen (0,66). Die App hatte seine Persönlichkeit „geglättet“.
- Der „Verweigerungs“-Trick: In einem Fall zeigte die direkte Verbindung, dass das Modell in 10 % der Fälle die Antwort verweigerte, weil es die Frage als unfair empfand. Aber die Abonnement-App zwang das Modell, jede Frage zu beantworten, was es kooperativ erscheinen ließ. Die Autoren bewiesen, dass dies durch einen versteckten „System Prompt“ (eine Anweisung, die die App zusammen mit der Frage sendet) verursacht wurde, der dem Modell sagte: „Wähle einfach einen Buchstaben, diskutiere nicht.“
Was dies für die „Persönlichkeit“ der KI bedeutet
Was hat das Paper also tatsächlich bewiesen?
- Es bewies, dass der „Abstand“, den wir zwischen KI-Modellen sehen, oft künstlich ist. Er ist eine Mischung aus der Frage, wie laut sie sind und welche Software wir genutzt haben, um mit ihnen zu sprechen.
- Es bewies, dass die Software, die wir nutzt, um mit der KI zu kommunizieren (der „Harness“), kein neutrales Rohr ist; sie formt die Werte der KI aktiv mit.
- Es legt nahe (beweist aber nicht vollständig), dass die „Entschlossenheit“ zwischen Modellen stark variiert und keiner einfachen Regel folgt wie „Größere Modelle sind lauter“.
Was ist NICHT die Antwort?
Das Paper schließt explizit die Idee aus, dass wir einfach auf den Namen eines Modells schauen können, um seine Werte zu kennen. Es schließt auch die Idee aus, dass alle Unterschiede zwischen Modellen nur „Rauschen“ sind.
- Die gute Nachricht: Selbst nachdem sie diese zwei Verwechslungen korrigiert hatten, fanden die Autoren heraus, dass einige Modelle sich tatsächlich wirklich unterscheiden. Zum Beispiel tendiert ein Modell namens „Grok-3“ bei etwa 73 % bis 88 % der Fragen tatsächlich in eine andere Richtung als Modelle von OpenAI oder Google. Dies sind echte Unterschiede, keine bloßen Messfehler.
- Die schlechte Nachricht: Die meisten Unterschiede, die wir innerhalb einer einzigen Unternehmensfamilie (wie etwa zwischen verschiedenen Anthropic-Modellen) vermuteten, waren größtenteils nur Unterschiede darin, wie laut sie waren oder wie die verwendete App sie formte.
Das Faz-it
Wenn Sie wissen wollen, ob zwei KI-Modelle unterschiedliche Werte haben, können Sie sie nicht einfach eine Frage stellen und sehen, was sie sagen. Sie müssen:
- Dieselbe Frage viele Male stellen, um zu sehen, ob sie nur „laut“ oder tatsächlich „anders“ sind.
- Sicherstellen, dass Sie mit ihnen durch exakt dieselbe „Tür“ sprechen (dieselbe Softwareverbindung), denn die Tür selbst könnte ihre Meinung ändern.
Die Autoren haben das Rätsel der KI-Persönlichkeiten nicht für immer gelöst, aber sie haben ein besseres Vergrößerungsglas gebaut, um sie zu betrachten. Sie haben uns gezeigt, dass das, was wir für eine tiefe philosophische Meinungsverschiedenheit hielten, oft nur ein KI-Modell ist, das schreit, während ein anderes flüstert, oder ein Modell, das mit einem strengen Chef spricht, während ein anderes mit einem ruhigen Freund spricht. Die echten Unterschiede sind da, aber man muss das Rauschen bereinigen, um sie zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.