📈 economics

The Partial Testimony of Logs: Evaluation of Language Model Generation under Confounded Model Choice

Dieser Beitrag stellt ein dreiquelliges Rahmenwerk vor und bewertet dieses, das ein kleines randomisiertes Experiment mit einem Offline-Simulator kombiniert, um die in groß angelegten Beobachtungsprotokollen von Sprachmodellen inhärente Selektionsverzerrung zu identifizieren und zu korrigieren und dadurch valide kausale Vergleiche der Modellleistung zu ermöglichen.

Ursprüngliche Autoren: Jikai Jin, Vasilis Syrgkanis

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jikai Jin, Vasilis Syrgkanis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, welcher von drei Köchen die beste Suppe macht. Sie haben ein massives Notizbuch mit Kundenbewertungen aus einem belebten Restaurant (das Beobachtungsprotokoll oder OBS). Allerdings gibt es einen Haken: Die Kunden haben nicht zufällig einen Koch ausgewählt. Sie wählten den Koch, von dem sie dachten, er sei der Beste, basierend auf ihrer eigenen Stimmung, ihrem Hunger oder ihren früheren Erfahrungen.

Wenn Sie das Notizbuch einfach nur lesen, könnten Sie denken, Koch A sei der Beste, weil die Leute, die bei Koch A bestellt haben, bereits in guter Stimmung waren und alles liebten. Aber vielleicht ist Koch B tatsächlich besser; sie haben nur mürrische Kunden bedient, die zu müde waren, die Suppe zu würdigen. Dies ist Verzerrung durch Störfaktoren (Confounding): Der Grund, warum die Leute einen Koch gewählt haben, ist mit der Frage vermischt, wie sehr ihnen das Essen gefallen hat.

Um dies zu lösen, könnten Sie ein kleines, strenges Experiment durchführen, bei dem Sie Kunden zwingen, zufällig einen Koch auszuwählen (das Randomisierte Experiment oder EXP). Dies gibt Ihnen einen fairen, unverzerrten Geschmackstest. Doch die Durchführung dieses Experiments ist teuer und für die Kunden lästig, sodass Sie es nur wenige Male durchführen können.

Dieser Artikel schlägt eine clevere Dreiteilstrategie vor, um das Beste aus beiden Welten zu nutzen, wobei ein „Küchensimulator" als Brücke dient.

Die drei Zutaten

Das große Notizbuch (OBS): Ein riesiger Haufen realer Bewertungen. Es ist verzerrt, enthält aber viele Daten.
Der kleine faire Test (EXP): Ein kleiner Haufen von Bewertungen, bei denen Kunden gezwungen wurden, zufällig auszuwählen. Es ist unverzerrt, aber sehr klein.
Der Küchensimulator (SIM): Ein Roboter, der die Suppe neu kochen kann. Wenn Sie ihm sagen: „Koch A hat diese Suppe für diesen spezifischen Kunden gemacht", kann der Roboter sofort generieren, wie Koch As Suppe ausgesehen hätte, selbst wenn der Kunde sie nie tatsächlich bestellt hat.

Die große Entdeckung: Der „Magische Trick"

Die Hauptaussage des Artikels ist ein mathematischer Beweis (Satz 1), der besagt: Sie benötigen das große Notizbuch nicht, um herauszufinden, wer tatsächlich der beste Koch ist.

Hier ist der magische Trick:

Der Simulator kann Ihnen zeigen, was jeder Koch für jeden Kunden gekocht hätte.
Der kleine faire Test sagt Ihnen genau, wie gut die Suppe in diesen wenigen zufälligen Fällen war.

Durch die Kombination dieser beiden können Sie mathematisch die wahre Fähigkeit jedes Kochs berechnen. Das große Notizbuch (OBS) ist nicht erforderlich, um zu beweisen, wer besser ist; es wird erst später benötigt, um Ihre Schätzung präziser zu machen (die „Rauschsignale" in Ihrer Antwort zu reduzieren).

Stellen Sie es sich so vor: Der Simulator und der kleine faire Test geben Ihnen die Wahrheit. Das große Notizbuch ist nur eine Lupe, die hilft, diese Wahrheit klarer zu sehen, aber es erzeugt die Wahrheit nicht selbst.

Die sechs Möglichkeiten, die Zutaten zu mischen

Sobald Sie wissen, dass die Wahrheit wiederherstellbar ist, stellt der Artikel die Frage: „Wie nutzen wir das große Notizbuch, um uns zu helfen, ohne von seiner Verzerrung getäuscht zu werden?" Sie testeten sechs verschiedene „Rezepte" (Schätzer) zum Mischen der Daten:

Der reine Experimentator (Nur EXP): Ignoriert das große Notizbuch vollständig. Verwendet nur den kleinen fairen Test.
- Vorteile: Komplett unverzerrt.
- Nachteile: Sehr wackelige Ergebnisse, wenn der faire Test zu klein ist (hohe Varianz).
Der Notizbuchleser (Nur OBS): Ignoriert den fairen Test und liest einfach das große Notizbuch.
- Vorteile: Sehr stabile Zahlen.
- Nachteile: Komplett falsch wegen der Verzerrung (niedrige Varianz, hohe Verzerrung).
Der Übersetzer (Repräsentation-EXP): Nutzt das große Notizbuch, um eine „Sprache" dessen zu lernen, was Kunden mögen, und verwendet dann den kleinen fairen Test, um die tatsächlichen Werte in dieser Sprache zu lernen.
- Vorteile: Gut, wenn die „Sprache" des Notizbuchs die richtigen Details erfasst.
- Nachteile: Scheitert, wenn das Notizbuch die wichtigen Details verpasst.
Der fundierte Korrektor (Grounded): Beginnt mit der Antwort des Notizbuchlesers und verwendet dann den kleinen fairen Test, um die Fehler zu „korrigieren".
- Vorteile: Großartig, wenn das Notizbuch größtenteils richtig ist, aber einen kleinen systematischen Fehler hat.
Der Mischer (CVCI): Vermischt Notizbuch und fairen Test miteinander und passt die Mischung basierend darauf an, welche Kombination im kleinen fairen Test am besten funktioniert.
- Vorteile: Oft der ausgewogenste Ansatz.
Der Residual-Mischer (CVCI-Residual): Ähnlich wie der Mischer, entfernt aber zuerst den „einfachen" Teil des Problems mithilfe des Notizbuchs und verwendet dann den fairen Test, um die „schweren" Reste zu korrigieren.

Was die Experimente zeigten

Die Autoren testeten diese Rezepte an zwei realen Aufgaben: Zusammenfassen von Nachrichtenartikeln und Korrigieren von Computercode.

Kein „Einheitslösung": Es gibt keinen einzigen Gewinner. Welches Rezept am besten funktioniert, hängt von zwei Dingen ab:
1. Wie viel Daten haben Sie? Wenn Sie sehr wenige Daten aus dem fairen Test haben, müssen Sie stark auf das Notizbuch zurückgreifen (aber vorsichtig). Wenn Sie viele Daten aus dem fairen Test haben, können Sie die Verzerrung des Notizbuchs leichter ignorieren.
2. Was messen Sie?
  - Bei der Zusammenfassungsaufgabe war der „Mischer" (CVCI) normalerweise der Beste. Er balancierte die enorme Menge an Notizbuchdaten perfekt mit dem kleinen fairen Test aus.
  - Bei der Codierungsaufgabe änderten sich die Ergebnisse je nachdem, was „Erfolg" bedeutete. Wenn Erfolg bedeutete „Hat der Code den Fehler behoben?", waren die auf dem Notizbuch basierenden Methoden besser. Wenn Erfolg bedeutete „Ist der Code-Stil schön?", funktionierte eine andere Methode (Repräsentation-EXP) besser.

Das Fazit

Wenn Sie KI-Modelle unter Verwendung realer Protokolle bewerten, können Sie den Zahlen nicht einfach vertrauen, weil Menschen Modelle basierend auf versteckten Faktoren auswählen.

Der Artikel beweist, dass Sie, wenn Sie einen Simulator (zum erneuten Generieren von Ausgaben) und einen kleinen randomisierten Test (zum Erhalt fairer Bewertungen) haben, mathematisch die wahre Leistung der Modelle finden können. Der riesige Haufen verzerrter realer Protokolle ist hilfreich, um die Antwort zu verfeinern, aber er ist nicht der Schlüssel zum Entschlüsseln der Wahrheit. Der Schlüssel ist die Kombination aus Simulator und randomisiertem Experiment.

Technische Zusammenfassung: Der teilweise Zeugenbericht von Logs: Evaluation der Generierung durch Sprachmodelle unter verzerrter Modellwahl

Problemstellung

Die Offline-Evaluation von Sprachmodellen (LLMs) stützt sich zunehmend auf Nutzungsprotokolle, Präferenzdaten und Richter-Annotationen, die in realen Einsätzen gesammelt werden. Wenn die Modellwahl jedoch vom Nutzer gesteuert wird, leiden diese Logs unter Verzerrung (Confounding): Dieselben unbeobachteten nutzerseitigen Faktoren ( $U$ ), die beeinflussen, welches Modell ein Nutzer auswählt, beeinflussen auch, wie die Ausgabe dieses Modells bewertet wird. Folglich vermischen rohe Vergleiche protokollierter Scores selbst ausgewählte Teilpopulationen, anstatt eine gemeinsame kausale Zielgröße zu schätzen.

Während randomisierte Experimente (EXP) diese Verzerrung durch Übersteuerung der Modellwahl aufbrechen können, sind sie in der Praxis oft selten, kostspielig und störend. Die bestehende Literatur zur Kombination großer verzerrter Beobachtungsstichproben mit kleinen randomisierten Stichproben geht typischerweise davon aus, dass das Ergebnis auf Einheitsniveau in beiden beobachtet wird. Bei der LLM-Evaluation muss das „Ergebnis" (der generierte Text) für Kandidatenmodelle zunächst neu generiert werden, bevor es bewertet werden kann. Dies fügt eine Ebene der Komplexität hinzu, bei der das Zielergebnis selbst in der randomisierten Stichprobe nicht direkt beobachtet wird.

Methodik: Ein Drei-Quellen-Design

Der Artikel schlägt ein Drei-Quellen-Design vor, um diese Herausforderung zu bewältigen, und trennt das Problem in Identifikation (Wiederherstellung kausaler Werte) und Schätzung (Reduzierung des Fehlers).

Datenquellen

Beobachtungs-Log (OBS): Ein großer Datensatz selbst gewählter Modellentscheidungen, Kontexte, Ausgaben und Ergebnisse. Er bietet Skalierbarkeit und zusätzliche Überwachung, ist jedoch verzerrt.
Randomisiertes Experiment (EXP): Ein kleiner Datensatz, bei dem die Modellwahl randomisiert ist und unverzerrte Ergebnislabels für realisierte Ausgaben liefert.
Offline-Simulator (SIM): Ein Mechanismus, der Kandidatenmodelle auf zwischengespeicherten Kontexten neu abspielt, um kontrafaktische Ausgaben (Vermittler) für jedes Modell zu generieren, unabhängig von der ursprünglichen Wahl.

Kausale Struktur und Annahmen

Das Framework modelliert das System unter Verwendung eines kausalen Graphen mit beobachtetem Kontext ( $X$ ), latentem Nutzerzustand ( $U$ ), gewähltem Modell ( $A$ ), generierter Ausgabe ( $M$ ) und Ergebnis ( $Y$ ). Zu den Schlüsselannahmen gehören:

A1 (Randomisierung): In EXP gilt $A \perp U | X$ .
A2 (SIM-Validität): Der Simulator stimmt genau mit der interventionalen Verteilung des Vermittlers $P(M | X, do(A=a))$ überein.
A3 (Konsistenz des Ergebnisses): Das bedingte Ergebnisgesetz $P(Y | X, M, U)$ ist über OBS, EXP und die interventional Welt hinweg invariant.
A4 (Keine latente Vermittler-Verzerrung): Bedingt auf $(X, A)$ gilt $U \perp M$ . Dies beschränkt das Framework auf einstufige, zustandslose Generierung.
A5 (Kontext-Alignment): Die Zielkontextverteilung stimmt mit der EXP-Kontextverteilung überein.

Identifikationstheorem

Das zentrale theoretische Ergebnis des Artikels (Theorem 1) stellt fest, dass SIM und EXP gemeinsam ausreichen, um kausale Modellwerte zu identifizieren, wodurch OBS für die Identifikation unnötig wird.

Das randomisierte Experiment identifiziert die unverzerrte Bewertungsregel $r^*(x, m) = E[Y | X=x, M=m, EXP]$ .
Der Simulator liefert die interventionalle Verteilung des Vermittlers $p_{sim}(m | x, a)$ .
Der kausale Wert wird durch Integration der Bewertungsregel über die simulierte Verteilung des Vermittlers zurückgewonnen:
$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$
$\mu(a) = E_{X}[q(X, a)]$
Das Beobachtungs-Log (OBS) tritt erst nach der Identifikation ein, um die statistische Effizienz zu verbessern (Varianz zu reduzieren), nicht um den kausalen Vergleich zu validieren.

Schätzerfamilien

Sobald das Ziel identifiziert ist, evaluiert der Artikel sechs Schätzerfamilien, die sich darin unterscheiden, wie sie OBS nutzen, um den Schätzfehler zu reduzieren:

Nur-EXP: Passt ein Belohnungsmodell ausschließlich unter Verwendung randomisierter Ergebnisse an. Unverzerrt, aber mit hoher Varianz, wenn EXP klein ist.
Nur-OBS: Passt ein Belohnungsmodell an protokollierte Ergebnisse an. Niedrige Varianz, übernimmt jedoch die Verzerrung durch Confounding.
Repräsentation-EXP: Nutzt OBS-Zusatzlabels, um eine niedrigdimensionale Proxy-Repräsentation $\psi$ zu erlernen, und passt dann den Belohnungskopf auf $\psi$ unter Verwendung von EXP-Daten an.
Grounded: Startet mit einem auf OBS trainierten Basisprädiktor $f_{OBS}$ und nutzt EXP, um einen Korrekturterm im Proxy-Raum zu erlernen.
CVCI (Cross-Validated Causal Inference): Pooled direkt die OBS- und EXP-Regressionsprobleme und wählt den Pooling-Gewichtungsfaktor $\lambda$ mittels kausaler Kreuzvalidierung auf EXP aus.
CVCI-Residual: Residualisiert das Ziel um den OBS-Basisprädiktor ( $Y - f_{OBS}$ ) und pooled die Residualanpassung im Proxy-Raum.

Empirische Ergebnisse

Die Autoren evaluieren diese Schätzer in einer kontrollierten semi-synthetischen Validierung und zwei realen, zwischengespeicherten Benchmarks (Zusammenfassung auf CNN/DailyMail und Codierung auf SWE-bench Verified).

Keine universelle Dominanz: Keine einzelne Schätzerfamilie dominiert alle Regime. Die Leistung hängt stark von der Menge der unverzerrten EXP-Überwachung und der Übereinstimmung zwischen der Beobachtungsstruktur und dem Zielbelohnungssignal ab.
Zusammenfassungs-Benchmark:
- CVCI erzielte den besten durchschnittlichen Rang und den geringsten übermäßigen Regret über 48 Einstellungen hinweg.
- Eine Erhöhung des EXP-Budgets ( $n_{EXP}$ ) verbesserte EXP-basierte Schätzer signifikant, während eine Erhöhung des OBS-Budgets ( $n_{OBS}$ ) unter glatten Belohnungskarten abnehmende Grenzerträge zeigte.
- Wenn die Belohnungskarte „verschärft" (nicht-linear) wurde, verschlechterte sich die Übereinstimmung zwischen Proxy-Repräsentationen und dem Ziel, was zu Leistungsabfällen bei repräsentationsbasierten Methoden führte.
Codierungs-Benchmark:
- Die Rangfolgen verschoben sich je nach Belohnungsdefinition. Wenn die Belohnung „Patch-Qualität" (Zusatzmerkmale) priorisierte, schnitt Representation-EXP wettbewerbsfähig ab.
- Wenn die Belohnung „echten Fix-Erfolg" (ein binäres Ergebnis, das durch Zusatz-Patch-Statistiken nicht gut erfasst wird) priorisierte, überholten OBS-basierte Familien (OBS-Only, CVCI) Representation-EXP.
- Dies unterstreicht, dass der Nutzen von OBS-abgeleiteten Proxys davon abhängt, ob sie das Signal beibehalten, das für das spezifische Zielbelohnungssignal relevant ist.

Bedeutung und Behauptungen

Der Artikel behauptet, ein rigoroses Framework für die Offline-Evaluation von LLMs bereitzustellen, das die Grenzen von Beobachtungsdaten anerkennt, ohne deren Skalierbarkeit zu verwerfen.

Identifikation vs. Schätzung: Der primäre Beitrag ist die theoretische Trennung von Identifikation (gelöst durch SIM+EXP) und Schätzung (wo OBS hilft). Dies verdeutlicht, dass OBS kausale Verzerrung nicht beheben kann; es kann nur die Varianz reduzieren, sobald die Verzerrung durch Randomisierung und Simulation entfernt wurde.
Praktische Anleitung: Die empirischen Ergebnisse legen nahe, dass die Wahl des Schätzers durch die „Ziel-Alignment"-Diagnose geleitet werden sollte. Wenn die Struktur der Beobachtungsdaten (z. B. Zusatzlabels) gut mit dem Zielbelohnungssignal übereinstimmt, sind hybride Methoden (wie CVCI oder Grounded) effektiv. Wenn das Ziel auf Signalen beruht, die in den Beobachtungsproxys nicht vorhanden sind (z. B. echter Fix-Erfolg vs. Patch-Qualität), können OBS-unterstützte Methoden versagen, reine randomisierte Baselines zu übertreffen.
Umfang: Die Autoren vermerken bescheiden, dass diese Schlussfolgerungen auf einmalige, zwischengespeicherte Evaluierungsszenarien anwendbar sind. Das Framework geht von einstufiger Generierung aus (Annahme A4) und adressiert noch keine mehrstufigen interaktiven Szenarien oder breitere Unsicherheiten auf Bevölkerungsebene jenseits der zwischengespeicherten Ziele.

Zusammenfassend argumentiert der Artikel, dass große Logs zwar für die Skalierbarkeit wertvoll sind, aber für sich allein genommen für eine kausale Evaluation unzureichend sind. Ein kleines randomisiertes Experiment in Kombination mit einem Simulator ist die Mindestanforderung für eine gültige Identifikation, wobei Beobachtungsdaten als Instrument zur Varianzreduktion dienen, abhängig von der spezifischen Übereinstimmung zwischen den Daten und dem Evaluierungsziel.