🤖 machine learning

Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences

Dieser Beitrag stellt einen robusten Algorithmus zum Erlernen von Präferenzen von Evaluatoren unter der minimalen Annahme koordinatenweiser nicht-abnehmender Funktionen vor und zeigt theoretisch sowie empirisch, dass er die Fallstricke gängiger Modellfehlanpassungen vermeidet und gleichzeitig auch dann eine hohe Leistung beibehält, wenn Linearitätsannahmen gelten.

Ursprüngliche Autoren: Madeline Celi Kitch, Nihar B. Shah

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Madeline Celi Kitch, Nihar B. Shah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein Richter entscheidet, wer eine Talentshow gewinnt. Sie sehen, wie die Richter Punkte für „Gesangstalent", „Bühnenpräsenz" und „Originalität" vergeben und dann eine endgültige „Gesamtpunktzahl" ausgeben.

Die große Frage, die diese Arbeit stellt, lautet: Wie kombinieren die Richter diese drei Punktzahlen tatsächlich, um auf die endgültige Zahl zu kommen?

Die meisten Forscher gehen davon aus, dass die Richter einfache Mathematik betreiben, wie etwa das Addieren der Punktzahlen mit einem festen Gewicht (z. B. „Gesangstalent zählt zu 50 %, Bühnenpräsenz zu 30 %"). Das ist so, als würde man annehmen, ein Rezept verwende immer genau 2 Tassen Mehl und 1 Tasse Zucker, egal was passiert.

Die Autoren dieser Arbeit argumentieren, dass diese Annahme der „einfachen Mathematik" oft falsch ist. Echte Richter (und sogar KI-Richter) könnten komplexe Regeln haben, wie zum Beispiel:

„Wenn das Gesangstalent schrecklich ist, spielt die Originalität überhaupt keine Rolle."
„Wenn die Bühnenpräsenz perfekt ist, macht eine kleine Steigerung des Gesangstalents einen riesigen Unterschied."
„Wenn die Originalität gering ist, müssen sowohl Gesangstalent als auch Bühnenpräsenz hoch sein, um zu bestehen."

Das sind komplexe, nichtlineare Regeln, die eine einfache Addition nicht erfassen kann.

Das Problem: Das „falsche Rezept"

Die Arbeit zeigt, dass Sie, wenn Sie versuchen, die Präferenzen eines Richters mit einfacher Mathematik (lineare Modelle) zu lernen, während dieser tatsächlich komplexe Regeln verwendet, schreckliche Ergebnisse erzielen.

Die Analogie des „blinden Ratschlags": Die Autoren beweisen, dass in den schlimmsten Fällen die Verwendung eines einfachen linearen Modells zum Erlernen dieser komplexen Präferenzen nicht besser ist als das bloße zufällige Raten der endgültigen Punktzahl. Sie könnten denken, Sie hätten die Regeln gelernt, aber das haben Sie nicht.
Die Analogie der „falschen Rangfolge": Wenn Sie die falsche Mathematik verwenden, um die Teilnehmer zu rangieren, könnten Sie den besten Sänger auf den letzten Platz und den schlechtesten Sänger auf den ersten Platz setzen. Die Arbeit beweist, dass dies häufig passiert, wenn das Modell falsch ist.
Die Analogie der „irreführenden Wichtigkeit": Wenn Sie auf die einfache Mathematik schauen, könnten Sie zu dem Schluss kommen, dass „Bühnenpräsenz" der wichtigste Faktor ist. In Wirklichkeit könnte dem Richter jedoch „Originalität" am meisten am Herzen liegen, aber aufgrund der Art und Weise, wie die Daten gesammelt wurden, hat Sie die Mathematik dazu getäuscht, etwas anderes zu glauben.

Die Lösung: Der „flexible Koch"

Anstatt die Richter zu zwingen, einem starren Rezept zu folgen, haben die Autoren einen neuen Algorithmus entwickelt, der wie ein flexibler Koch agiert.

Die Grundregel: Die einzige Regel, die sie auferlegen, ist gesunder Menschenverstand: Mehr ist besser. Wenn ein Sänger eine höhere Punktzahl für „Gesangstalent" erhält, sollte die Gesamtpunktzahl niemals sinken. Dies wird als „isoton" (oder nicht abnehmend) bezeichnet.
Das Sicherheitsnetz: Der Algorithmus versucht, die komplexeste, flexibelste Regel zu finden, die zu den Daten passt. Er verfügt jedoch über einen „Sicherheitsumschalter". Wenn die Daten tatsächlich einem einfachen linearen Rezept folgen, wird der Algorithmus automatisch so vereinfacht, dass er diesem entspricht, damit er die Dinge nicht unnötig kompliziert macht.
Das Ergebnis: Diese neue Methode ist ein „Best-of-both-worlds"-Ansatz. Sie ist sicher genug, um einfache Regeln zu lernen, falls sie existieren, aber leistungsstark genug, um komplexe, verborgene Regeln zu lernen, falls sie existieren.

Was sie in der realen Welt gefunden haben

Die Autoren haben ihren „flexiblen Koch"-Algorithmus an realen Daten getestet, um zu sehen, ob er besser funktioniert als der alte Ansatz der „einfachen Mathematik".

1. Hotelbewertungen (Tripadvisor):
Sie untersuchten Tausende von Hotelbewertungen, bei denen Menschen Dinge wie „Sauberkeit", „Lage" und „Service" bewerteten, um eine Gesamtbewertung in Sternen zu vergeben.

Die Erkenntnis: Der neue Algorithmus war viel besser darin zu verstehen, was Reisende tatsächlich wichtig fanden. Er reduzierte den Fehler beim Verständnis der „kollektiven Präferenz" im Vergleich zur alten Methode um über 50 % bis 69 %.
Die Nuance: Interessanterweise war die Vorhersage der exakten Sternbewertung nicht viel besser. Dies deutet darauf hin, dass die alte Mathematik zwar in Ordnung war, um die endgültige Zahl zu erraten, aber schrecklich darin, zu erklären, warum diese Zahl gewählt wurde. Die neue Methode enthüllte, dass Reisende „abnehmende Grenzerträge" haben: Dass ein Hotel von „schlecht" auf „okay" wechselt, ist sehr wichtig, aber der Wechsel von „großartig" auf „perfekt" verändert das Gesamtempfinden nicht mehr so stark. Einfache Mathematik kann diese Kurve nicht sehen.

2. KI vs. menschliche Gutachter (wissenschaftliche Arbeiten):
Sie testeten den Algorithmus an Bewertungen wissenschaftlicher Arbeiten und verglichen menschliche Gutachter mit KI-Modellen (wie GPT-4o und Llama).

Die Erkenntnis: Sie verwendeten den Algorithmus, um zu messen, wie konsistent die KI war und wie stark ihr „Geschmack" dem menschlicher Gutachter entsprach.
Das Ergebnis: GPT-4o war viel konsistenter, und sein „Geschmack" (wie er Zuverlässigkeit gegenüber Beitrag gewichtete) entsprach viel stärker dem menschlicher Gutachter als das Llama-Modell. Das Llama-Modell war viel unberechenbarer, und seine Präferenzen unterschieden sich stark von denen des Menschen.

Das Fazit

Diese Arbeit ist eine Warnung und eine Lösung.

Warnung: Gehen Sie nicht davon aus, dass Menschen (oder KI) Entscheidungen treffen, indem sie einfach Punktzahlen addieren. Wenn Sie das tun, lernen Sie möglicherweise die falschen Regeln, rangieren Dinge falsch und missverstehen, was Menschen tatsächlich schätzen.
Lösung: Verwenden Sie ihren neuen „flexiblen" Algorithmus. Er respektiert die einfache Regel, dass „mehr besser ist", ist aber intelligent genug, um komplexe, verborgene Muster zu lernen. Er stellt sicher, dass Sie, unabhängig davon, ob der Entscheidungsträger einfach oder komplex ist, ihre wahren Präferenzen genau lernen werden.

Technische Zusammenfassung: Lernen, was Evaluatoren wertschätzen

Problemstellung

In zahlreichen Domänen – einschließlich akademischer Peer-Reviews, medizinischer Diagnosen, Zulassungsverfahren und Produktbewertungen – ordnen Evaluatoren Bewertungen mehrerer Kriterien (z. B. Sachlichkeit, Neuheit, Sauberkeit) einer Gesamtnote oder Empfehlung zu. Die grundlegende Herausforderung, die in diesem Papier adressiert wird, besteht darin, die Präferenzfunktion zu erlernen, die diese Zuordnung steuert.

Gängige Ansätze stützen sich typischerweise auf starke parametrische Annahmen, insbesondere auf Linearität (oder Erweiterungen wie generalisierte additive Modelle mit Interaktionen). Die Autoren argumentieren, dass diese Annahmen in der Praxis häufig verletzt werden. Unter Berufung auf Jones et al. (2025) stellen sie fest, dass Forscher oft versäumen, Linearitätsannahmen zu überprüfen, und Keswani et al. (2025) zeigen, dass menschliche moralische Präferenzen häufig Schwellenwerte und Nichtlinearitäten beinhalten, die lineare Modelle nicht erfassen können. Das Papier geht davon aus, dass die Annahme einer falschen funktionalen Form zu drei kritischen Fehlern führt:

Unfähigkeit, Präferenzen zu lernen: Die geschätzte Funktion kann die wahre Präferenzfunktion nicht annähern, was zu hohen Schätzfehlern führt.
Rangierungsfehler: Die geschätzte Funktion kann Rangordnungen von Objekten (z. B. Papers, Bewerber) produzieren, die erheblich von der wahren Rangordnung abweichen.
Missverständnis der Kriterienbedeutung: Regressionskoeffizienten in linearen Modellen können die relative Gewichtung von Kriterien fälschlicherweise ableiten, insbesondere wenn die Stichprobenverteilungen unausgewogen sind.

Methodik

Theoretischer Rahmen

Die Autoren wählen einen nicht-parametrischen Ansatz und treffen nur eine minimale Annahme: Die Präferenzfunktion ist isoton (koordinatenweise monoton steigend). Das bedeutet, dass sich die Gesamtnote nicht verschlechtern darf, wenn sich ein Kriteriumswert erhöht, während die anderen konstant bleiben. Diese Klasse, bezeichnet als $\mathcal{F}_{ISO}$ , ist ausdrucksstark genug, um Interaktionen, Schwellenwerte und nichtlineare Transformationen zu erfassen.

Das Papier stellt zunächst negative Ergebnisse für gängige parametrische Modelle vor ( $\mathcal{F}_{GENINT}$ , das lineare, generalisierte additive und Interaktionsmodelle umfasst):

Schätzfehler: Es existieren isotope Präferenzfunktionen, bei denen der bestmögliche Schätzer innerhalb von $\mathcal{F}_{GENINT}$ im Vergleich zur wahren Funktion einen konstanten Faktorfehler (bis hin zum zufälligen Raten) aufweist.
Rangierungsfehler: Für bestimmte isotope Funktionen ist der Kendall-tau-Abstand zwischen der von einem generalisierten additiven Modell erzeugten Rangordnung und der wahren Rangordnung von Null getrennt (ein konstanter Anteil der Paare wird falsch rangiert).
Koeffizientenverzerrung: In unausgewogenen Datensätzen kann die gewöhnliche Kleinste-Quadrate-Methode (OLS) fälschlicherweise schließen, dass ein Kriterium wichtiger ist als ein anderes, selbst wenn das Gegenteil der Fall ist oder der zugrunde liegende Prozess symmetrisch ist.

Vorgeschlagener Algorithmus

Um diese Probleme zu adressieren, ohne die Leistung zu beeinträchtigen, wenn Linearität tatsächlich vorliegt, schlagen die Autoren einen Algorithmus für regularisierte isotope Regression vor (Algorithmus 1). Die Kernidee besteht darin, zwei Ziele mittels Kreuzvalidierung auszubalancieren:

Anpassung an die Daten: Minimierung des quadratischen Fehlers im Trainingsdatensatz.
Strafe für Modellfehlanpassung: Minimierung des Abstands zwischen der gelernten isotopen Funktion und der am besten passenden linearen Funktion.

Algorithmus-Schritte:

Regularisierung: Der Algorithmus löst ein regularisiertes Kleinste-Quadrate-Problem über die Menge der isotopen Funktionen ( $\mathcal{F}_{ISO}$ ) und linearen Funktionen ( $\mathcal{F}_{LIN}$ ). Er führt einen Regularisierungsparameter $\lambda$ ein, der zwischen reiner isotoper Regression ( $\lambda=0$ ) und linearer Regression ( $\lambda=\infty$ ) interpoliert.
$\min_{\hat{f} \in \mathcal{F}_{ISO}} \min_{g_{LIN} \in \mathcal{F}_{LIN}} \frac{1}{|S'|} \sum_{j \in S'} (\hat{f}(x^{(j)}) - y^{(j)})^2 + \frac{\lambda}{|X_{S'}|} \sum_{x \in X_{S'}} (\hat{f}(x) - g_{LIN}(x))^2$
Nachbearbeitung: Die Ausgabefunktion wird auf den gültigen Bereich $[0, 1]$ beschnitten und für nicht gesehene Eingaben interpoliert, um die Monotonie sicherzustellen.
Kreuzvalidierung: Der optimale $\lambda$ wird aus einer Menge $\Lambda$ unter Verwendung eines zurückgehaltenen Validierungssatzes ausgewählt, um das Validierungsrisiko zu minimieren.

Theoretische Garantien

Die Autoren beweisen, dass ihr Algorithmus zwei konkurrierende Ziele erfüllt:

Robustheit: Für jede monotone Präferenzfunktion verschwindet der Schätzfehler ihres Algorithmus mit wachsender Stichprobengröße $N \to \infty$ (konvergiert mit einer Rate von $O(N^{-1/d})$ ).
Effizienz: Wenn die wahre Präferenzfunktion linear ist, performt der Algorithmus nahezu so gut wie nicht-negative Kleinste-Quadrate (lineare Regression), wobei das Risiko durch das Risiko der linearen Regression bis auf einen logarithmischen Faktor begrenzt ist, der von der Anzahl der Regularisierungsparameter abhängt.

Wichtige Ergebnisse

Synthetische Simulationen

Der Algorithmus wurde an synthetischen Daten getestet, die aus drei Nutzenmodellen generiert wurden: Linear, Leontief (perfekte Komplemente) und Cobb-Douglas.

Lineare Präferenzen: Sowohl der vorgeschlagene Algorithmus als auch die lineare Regression erzielten vergleichbare Schätzfehler.
Nicht-lineare Präferenzen: Bei Leontief- und Cobb-Douglas-Nutzenversagen es der linearen Regression, den Fehler über eine bestimmte Stichprobengröße hinaus zu reduzieren (zeigt Verzerrung), während der vorgeschlagene Algorithmus weiterhin die Funktion lernte, wenn auch mit einer langsameren Rate. Bei $N=1000$ war der Fehler der linearen Regression bei Leontief-Präferenzen über 13-mal größer als der des vorgeschlagenen Algorithmus.

Reale menschliche Präferenzen (Tripadvisor)

Der Algorithmus wurde auf Hotelbewertungen von Tripadvisor angewendet, um Gesamtnoten aus sechs Kriterien vorherzusagen (Preis-Leistungs-Verhältnis, Zimmer, Lage, Sauberkeit, Service, Schlafqualität).

Vorhersagefehler: Der vorgeschlagene Algorithmus zeigte eine moderate, aber statistisch signifikante Verbesserung des Vorhersagefehlers (ca. 8–11% Reduktion) im Vergleich zur linearen Regression.
Reduzierbarer Fehler: Noch signifikanter reduzierte der Algorithmus den reduzierbaren Fehler (ein Proxy für den Schätzfehler, berechnet durch Subtraktion des unvermeidbaren Rauschens) um 50% bis 69% im Vergleich zur linearen Regression. Dies zeigt, dass der Algorithmus die zugrunde liegende Präferenzfunktion der Gemeinschaft deutlich genauer lernt.
Erkenntnisse: Die gelernten Funktionen enthüllten Nichtlinearitäten, wie abnehmende Grenzerträge (Konkavität) für hohe Scores und signifikante Auswirkungen niedriger Scores, die lineare Modelle (die konstante marginale Änderungen annehmen) nicht erfassen konnten.

LLM vs. menschliche Präferenzen (ICLR Peer-Review)

Unter Verwendung eines Datensatzes mit menschlichen und LLM-Reviews (GPT-4o, Llama 3.1 70b) für ICLR 2024-Papers:

Konsistenz: GPT-4o wies einen signifikant niedrigeren unvermeidbaren Fehler (höhere interne Konsistenz) auf als Llama und menschliche Evaluatoren.
Ausrichtung: Die Präferenzfunktion von GPT-4o war signifikant näher an menschlichen Präferenzen als die von Llama.
Unterschiede in der Form: Die gelernten Präferenzfunktionen zeigten, dass die Zuordnung von Kriterien zu Gesamtnoten durch GPT-4o nichtlinear war (konkav oder konvex, abhängig von anderen Scores), während menschliche Präferenzen in den beobachteten Diagrammen näher an Linearität lagen.

Bedeutung und Behauptungen

Das Papier behauptet, einen zuverlässigen, robusten Ansatz zum Lernen von Evaluatorenpräferenzen zu bieten, der die Fallstricke der Modellspezifikation vermeidet.

Theoretischer Beitrag: Es wird festgestellt, dass gängige parametrische Annahmen zu Worst-Case-Fehlern führen können, die für Rangierung und Schätzung dem zufälligen Raten entsprechen, und dass lineare Modelle die Bedeutung von Kriterien fundamental missverstehen können.
Praktischer Beitrag: Der vorgeschlagene Algorithmus bietet eine „Best-of-Both-Worlds"-Lösung: Er ist nachweisbar robust gegenüber komplexen, nichtlinearen Präferenzen, behält jedoch eine Leistung bei, die mit der linearen Regression vergleichbar ist, wenn die Linearitätsannahme zutrifft.
Anwendung: Die Autoren zeigen, dass diese Methode nuancierte Einblicke in menschliche und LLM-Entscheidungsfindung (z. B. abnehmende Grenzerträge, Schwellenwerteffekte) offenbaren kann, die für Standard-Linearmodelle unsichtbar sind. Sie schlagen vor, dass dies besonders wertvoll für nachgelagerte Aufgaben wie Rangierung oder die Ausrichtung von KI-Systemen mit menschlichen Werten ist, wo das Verständnis der Struktur der Präferenzfunktion kritischer ist als die reine Vorhersagegenauigkeit.

Die Autoren bleiben bezüglich der Gewinne bei der Vorhersagegenauigkeit in verrauschten realen Datensätzen bescheiden und stellen fest, dass der Hauptvorteil in der treuen Schätzung der zugrunde liegenden Präferenzfunktion liegt und nicht nur in der Vorhersage von Scores. Sie schließen, dass ihre Methode es Forschern ermöglicht, „zu lernen, worauf Evaluatoren Wert legen", ohne moralisch oder praktisch relevante nichtlineare Komponenten ihrer Überzeugungen zu übersehen.