📊 statistics

Performative Learning Theory

Diese Arbeit etabliert ein statistisches Lernframework für performative Vorhersagen, wobei sie beweist, dass ein grundlegender Zielkonflikt zwischen der Fähigkeit eines Modells, Ergebnisse zu beeinflussen, und seiner Kapazität zur Generalisierung besteht, während sie gleichzeitig aufzeigt, dass das erneute Trainieren auf verzerrten Stichproben paradoxerweise die Generalisierungsgarantien verbessern kann.

Ursprüngliche Autoren: Julian Rodemann, Unai Fischer-Abaigar, James Bailie, Krikamol Muandet

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Julian Rodemann, Unai Fischer-Abaigar, James Bailie, Krikamol Muandet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „selbsterfüllende“ und „selbstaufhebende“ Kristallkugel

Stellen Sie sich vor, Sie besitzen eine Kristallkugel, die die Zukunft vorhersagt. In der alten Zeit des maschinellen Lernens gingen wir davon aus, dass die Kristallkugel nur ein passiver Beobachter war. Sie betrachtete die Welt, gab eine Vermutung ab, und die Welt blieb exakt gleich.

Aber in der realen Welt verändern Vorhersagen oft die Welt. Dies nennt man Performativität.

Die selbstaufhebende Vorhersage: Stellen Sie sich vor, eine Navigations-App sagt einen Stau auf einer bestimmten Straße voraus. Aufgrund dieser Vorhersage meiden alle diese Straße. Das Ergebnis? Der Stau verschwindet. Die Vorhersage war im Moment der Ankündigung „richtig“, aber indem sie bekannt gegeben wurde, machte sie sich selbst falsch. Die Welt wehrte sich gegen die Vorhersage.
Die selbsterfüllende Vorhersage: Stellen Sie sich vor, ein Arbeitsamt nutzt eine KI, um vorherzusagen, wer ein hohes Risiko hat, arbeitslos zu bleiben. Die KI stuft eine Person als „Hochrisiko“ ein, woraufhin das Arbeitsamt ihr zusätzliches Training anbietet. Durch diese zusätzliche Hilfe findet die Person einen Job. Die Vorhersage wurde wahr, aber nur, weil die Vorhersage das Ergebnis verursacht hat.

Diese Arbeit stellt eine schwierige Frage: Wenn Ihre Vorhersagen die Daten, aus denen Sie lernen, verändern – können Sie Ihrem Modell dann noch vertrauen?

Das Kernproblem: Die „Echokammer“ vs. der „Rebell“

Die Autoren führen eine neue Theorie ein, die Performative Learning Theory (Performative Lerntheorie). Sie erklären, dass man beim Trainieren eines Modells normalerweise eine kleine Stichprobe von Daten verwendet (wie einen Geschmackstest), um vorherzusagen, wie es bei der gesamten Population (dem ganzen Restaurant) funktionieren wird.

Doch wenn Ihre Vorhersagen das Verhalten verändern, können zwei seltsame Dinge gleichzeitig passieren:

Die Stichprobe wird zur „Echokammer“ (Selbsterfüllend): Die kleine Gruppe von Menschen, an denen Sie testen, reagiert möglicherweise genau so, wie Sie es erwarten. Sie sehen die Vorhersage, ändern ihr Verhalten, um ihr zu entsprechen, und das Modell denkt: „Wow, ich bin perfekt!“ Das Modell entwickelt ein falsches Selbstvertrauen, weil die Stichprobe es, indem sie die eigenen Vorurteile bestätigt, „täuscht“.
Die Population wird zum „Rebellen“ (Selbstaufhebend): Der Rest der Welt (die Population) reagiert möglicherweise genau entgegengesetzt. Sie sehen die Vorhersage, sind genervt und tun das Gegenteil. Das Modell scheitert, wenn es versucht, sein „perfektes“ Training auf die reale Welt anzuwenden.

Die Analogie: Stellen Sie sich vor, ein Lehrer gibt einer Handvoll Schüler einen Test (die Stichprobe).

Wenn der Lehrer sagt: „Diese Frage ist einfach“, und die Schüler deshalb härter lernen und 100 % erreichen, denkt der Lehrer, der Test sei einfach.
Aber wenn der Lehrer denselben Test der ganzen Schule gibt und die anderen Schüler denken: „Er hält das für einfach? Ich mache es schwer“, und alle durchfallen, dann war das Modell des Lehrers falsch.

Der Trade-off: Die Welt verändern vs. von ihr lernen

Die Arbeit entdeckt einen grundlegenden Trade-off (Abwägung), wie eine Wippe:

Je mehr Sie die Welt verändern (Intervention), desto schwieriger ist es, von ihr zu lernen.
Je mehr Sie versuchen, von der Welt zu lernen, desto weniger sollten Sie versuchen, sie zu verändern.

Wenn ein Arbeitsamt versucht, jeden zu helfen, indem es Menschen basierend auf einer Vorhersage Trainingsprogrammen zuweist, hilft es vielleicht diesen Individuen. Aber dadurch verändert es die Daten so stark, dass es nicht mehr feststellen kann, ob sein Modell tatsächlich gut ist oder ob es nur eine künstliche Realität erschafft. Es ist wie der Versuch, die Temperatur eines Raumes zu messen, während man eine Flamme direkt an das Thermometer hält.

Die Lösung: Wie man sein Modell ehrlich hält

Die Autoren beweisen mathematische Formeln (Bounds), die uns sagen, wie viel Fehler wir in diesen kniffligen Situationen erwarten können. Sie bieten eine praktische Strategie für Institutionen (wie Arbeitsämter oder Navigations-Apps):

Nicht nur auf den veränderten Daten neu trainieren: Wenn Sie Ihr Modell immer wieder auf den Daten neu trainieren, die bereits durch Ihre eigenen Vorhersagen verändert wurden, werden Sie in dieser „Echokammer“ stecken bleiben und Ihr Modell wird schlechter.
Nutzen Sie den „Initial Fit“: Die Arbeit legt nahe, dass Ihr allererstes Modell (das trainiert wurde, bevor irgendwelche Änderungen stattfanden) oft die zuverlässigste Basislinie ist.
Kombinieren Sie die Hinweise: Sie können die Veränderungen, die Sie in Ihrer kleinen Stichprobe beobachten, nutzen, um abzuschätzen, wie die gesamte Population reagieren wird. Denken Sie an eine Windfahne: Wenn der Wind die kleine Fahne im Garten bewegt, können Sie erraten, wie der Wind über die ganze Stadt weht, selbst wenn die Stadt anders reagiert.

Praxisbeispiel aus der Arbeit

Die Autoren testeten dies an echten Daten der Bundesagentur für Arbeit in Deutschland.

Der Aufbau: Sie untersuchten Daten von Arbeitslosen. Die Agentur nutzte ein Modell, um vorherzusagen, wer langfristig arbeitslos bleiben würde.
Der Twist: Personen, die als hohes Risiko eingestuft wurden, erhielten eine Berufsausbildung/Training. Dieses Training half ihnen, Jobs zu finden, was die Daten veränderte.
Das Ergebnis: Die Autoren zeigten, dass wenn die Agentur versucht, zu viele Menschen gleichzeitig zu unterstützen (die Daten zu stark zu verändern), die Fähigkeit des Modells, die Zukunft für neue Personen vorherzusagen, signifikant sinkt. Sie haben mathematisch bewiesen, dass es eine Grenze gibt, wie sehr man intervenieren kann, bevor die eigenen Vorhersagen unzuverlässig werden.

Zusammenfassung

Diese Arbeit sagt nicht: „Hören Sie auf, Vorhersagen zu treffen.“ Stattdessen liefert sie ein Regelwerk dafür, wie man vorhersagt, wenn die eigenen Vorhersagen die Welt verändern werden.

Sie warnt uns: Wenn Sie das Spiel verändern, während Sie es spielen, könnten Sie die Regeln vergessen. Aber wenn Sie vorsichtig sind, können Sie die kleinen Veränderungen, die Sie in einer Testgruppe sehen, nutzen, um zu verstehen, wie die ganze Welt reagieren wird – was es Ihnen ermöglicht, robuste Modelle zu bauen, selbst wenn diese aktiv die Realität gestalten.

Technisches Resümee: Performative Lerntheorie (Performative Learning Theory)

1. Problemstellung

Maschinelle Lernsysteme haben sich von passiven Datenanalysatoren zu aktiven Gestaltern der Welt entwickelt. In vielen Bereichen beeinflusst der Einsatz prädiktiver Modelle die sehr Ergebnisse, die sie vorherzusagen versuchen – ein Phänomen, das als performative Vorhersagen (performative predictions, PP) bekannt ist. Während vorangegangene Arbeiten (z. B. Perdomo et al., 2020; Brown et al., 2022) PP formalisiert und die Stabilität sowie Optimalität von Modellen unter populationsweiten Feedback-Schleifen untersucht haben, bleibt eine kritische Lücke bestehen: Generalisierung unter Performativität.

Speziell adressiert die bestehende Literatur nicht ausreichend, wie gut Modelle von einer endlichen Stichprobe auf eine Population generalisieren, wenn:

Die Stichprobe selbst auf die Vorhersagen des Modells reagiert (z. B. Nutzer in einem Beta-Test, die ihr Verhalten basierend auf App-Empfehlungen ändern).
Die Population auf die Vorhersagen reagiert.
Beide reagieren, potenziell auf widersprüchliche Weise.

Die zentrale Frage ist, ob und wie gut Modelle, die auf performativen Stichproben trainiert wurden, auf eine performative Population generalisieren können, und wie die theoretischen Schranken für diesen Generalisierungsfehler aussehen.

2. Methodik und Framework

Die Autoren führen die Performative Lerntheorie (PLT) ein, indem sie performative Vorhersagen in die statistische Lerntheorie einbetten. Das Framework generalisiert den Standardfall, indem es die Evolution sowohl der Stichprobenverteilung ( $\hat{d}_t$ ) als auch der Populationsverteilung ( $d_t$ ) über die Zeit $t$ betrachtet.

Zentrale Definitionen und Annahmen

Zustandsbasierter Übergang (Stateful Transition): Die Evolution der Verteilung wird durch eine unbekannte Übergangsabbildung $Tr$ gesteuert, wobei $d_t = Tr(d_{t-1}, \theta_t)$ gilt. Dies generalisiert zustandslose Modelle, bei denen $d_t$ nur von $\theta_t$ abhängt.
Risikominimierung: Die Untersuchung betrachtet sowohl die wiederholte Risikominimierung (Repeated Risk Minimization, RRM) auf der Population als auch die wiederholte empirische Risikominimierung (Repeated Empirical Risk Minimization, RERM) auf der Stichprobe.
Bedingungen: Die Analyse stützt sich auf Standardannahmen aus der PP-Literatur:
- Starke Konvexität: Die Verlustfunktion $\ell$ ist $\gamma$ -stark konvex in Bezug auf die Parameter $\theta$ .
- Wasserstein-Sensitivität: Die Übergangsabbildung $Tr$ ist $(\varepsilon, p)$ -gemeinsam sensitiv, was bedeutet, dass der Wasserstein-Abstand zwischen Verteilungen linear mit der Verschiebung der Parameter und der vorangegangenen Verteilungen skaliert.
- Regularität: Der Verlust ist Lipschitz-stetig in den Daten und stetig differenzierbar in den Parametern.

Theoretischer Ansatz

Die Autoren leiten Generalisierungsschranken ab, indem sie den Wasserstein-Abstand zwischen Verteilungen analysieren. Sie nutzen hierzu:

Konvergenzschranken: Nutzung von Fournier & Guillin (2015), um den Abstand zwischen der ursprünglichen Stichprobe und der wahren Population zu begrenzen.
In-Sample-Shift-Schranken: Ableitung von Schranken darüber, wie stark die Stichprobenverteilung aufgrund performativer Effekte innerhalb der Trainingsschleife variiert.
Covering Numbers: Verwendung von Covering-Number-Entropieintegralen (Kolmogorov & Tikhomirov, 1959) anstelle von Rademacher-Komplexitäten, um die dynamische Natur des Trägerbereichs der Verteilung zu handhaben.
Dualität im Wasserstein-Raum: Darstellung von selbst-negierenden (Population) und selbst-erfüllenden (Stichprobe) Vorhersagen als Min-Max- bzw. Min-Min-Risikofunktionalen, was die Anwendung der empirischen Prozess-Theorie für lokal distributions-robuste und vorteilhafte Lernverfahren ermöglicht.

3. Zentrale Beiträge und Ergebnisse

Das Paper adressiert vier spezifische Forschungsfragen (RQ1–RQ4) hinsichtlich der Generalisierung unter verschiedenen Performativitäts-Szenarien:

RQ1: Generalisierung unter Stichproben-Performativität

Szenario: Ein Modell wird auf einer Stichprobe neu trainiert, die auf Vorhersagen reagiert, aber die Population reagiert nicht (oder ist noch nicht beobachtet).
Ergebnis (Theorem 3.7): Die Autoren beweisen eine obere Schranke für das exzessive Risiko $R(d_0, \hat{\theta}_T) - \inf R(d_0, \theta)$ .
Zentrale Erkenntnis: Die Schranke hängt von der performativen Reaktionsrate ( $m/n$ , der Anteil der Stichprobeneinheiten, die ihr Verhalten ändern) ab. Wenn $m = o(n)$ , verschwindet die Schranke für $n \to \infty$ . Wenn die Stichprobe jedoch stark reagiert, wächst die Schranke, was auf einen Trade-off hindeutet: Die Manipulation der Stichprobe zur Verbesserung der Ergebnisse beeinträchtigt die Fähigkeit, generalisierbare Eigenschaften aus dieser Stichprobe zu lernen.

RQ2: Generalisierung unter vollständiger Performativität

Szenario: Ein Modell wird auf einer Stichprobe trainiert und dann auf eine Population angewendet, die auf die Vorhersagen reagiert.
Ergebnis (Theorem 3.10 & 3.13): Es werden Schranken für das performative exzessive Risiko (Fehler auf der verschobenen Population) und die Generalisierungslücke (Differenz zwischen dem Risiko auf der verschobenen Population und der verschobenen Stichprobe) abgeleitet.
Strukturelle Erkenntnis: Im schlimmsten Fall erzeugt die Stichprobe durch selbst-erfüllende Vorhersagen (die das Modell täuschend bestätigen) eine „empirische Echokammer“, während die Population die Vorhersagen selbst-negiert (in die entgegengesetzte Richtung agiert). Dies schafft eine fundamentale Lücke zwischen Trainingsleistung und Out-of-Sample-Leistung.
Korollar 3.11: Eine praktische Erkenntnis legt nahe, dass die engsten Generalisierungsgarantien dadurch erreicht werden, dass man die ursprüngliche Anpassung ( $\hat{\theta}_0$ ) auf Out-of-Sample-Daten verwendet, während man den Populationsshift aus den beobachteten Stichproben-Verschiebungen schätzt, anstatt wiederholt auf der verzerrten Stichprobe neu zu trainieren.

RQ3: Kumulatives performatives exzessives Risiko

Szenario: Ein Modell wird auf einer Stichprobe trainiert, dann in einer Population eingesetzt, in der es wiederholt auf der sich verschiebenden Population neu trainiert wird.
Ergebnis (Theorem 3.16): Das Paper liefert Schranken für den kumulativen Fehler über die Zeit. Die Analyse zeigt, dass der akkumulierte Fehler durch den anfänglichen Stichproben-zu-Populations-Shift und die anschließende Populationsdynamik getrieben wird.

RQ4: Inferenzlücke

Szenario: Vergleich des empirischen Risikominimierers (trainiert auf Stichproben) mit dem theoretischen Risikominimierer (trainiert auf der Population).
Status: Das Paper stellt fest, dass dies durch jüngere Arbeiten (Li et al., 2025b) für asymptotische Fälle ( $n \to \infty$ ) teilweise beantwortet wurde, und identifiziert die Finite-Sample-Analyse für zustandsbasierte Performativität als offene Forschungsrichtung.

4. Empirische Illustration

Die Autoren illustrieren ihre Schranken anhand realer Verwaltungsdaten der Deutschen Bundesagentur für Arbeit (1975–2017) bezüglich der Profilierung von Arbeitssuchenden.

Setup: Ein logistisches Regressionsmodell sagt das langfristige Arbeitslosigkeitsrisiko voraus. Personen mit hohem Risiko werden einer Arbeitsqualifizierung zugewiesen, was (falls effektiv) ihr Arbeitslosigkeitsrisiko senkt und somit einen performativen Effekt erzeugt.
Ergebnisse: Die Schranken quantifizieren erfolgreich die Generalisierungslücke. Wenn der Anteil der Arbeitssuchenden, die einer Qualifizierung zugewiesen werden ( $\xi$ ), steigt, wächst der performative Term in der Schranke, was den Change-Learn-Trade-off demonstriert: Je mehr das Modell die Population verändert (durch Zuweisung mehr Trainingsmaßnahmen), desto unzuverlässiger werden seine Vorhersagen für die allgemeine Bevölkerung.

5. Bedeutung und Ansprüche

Das Paper beansprucht, die Untersuchung der Lernbarkeit unter Performativität einzuleiten. Seine primären Beiträge sind:

Theoretische Grundlage: Es etabliert den ersten Satz von Generalisierungsschranken für performative Vorhersagen, die endliche Stichproben und die Unterscheidung zwischen Stichproben- und Populationsreaktionen berücksichtigen.
Fundamentaler Trade-off: Es formalisiert einen Trade-off zwischen Intervention (die Welt durch Vorhersagen verändern) und Inferenz (aus den resultierenden Daten lernen). Je stärker ein Modell seine Umgebung beeinflusst, desto schwieriger wird es, aus den resultierenden Daten zu generalisieren.
Echokammer-Mechanismus: Es identifiziert einen spezifischen Mechanismus, bei dem Stichproben Modelle durch selbst-erfüllende Prophezeiungen „täuschen“, während Populationen diese „negieren“, was zu inflierten Generalisierungslücken führt.
Praktische Orientierung: Es bietet eine kontraintuitive, aber theoretisch fundierte Empfehlung: Angesichts von Performativität kann es eine engere Garantie bieten, auf das ursprüngliche Modellfit zusammen mit Schätzungen des Shifts (abgeleitet aus Stichprobenreaktionen) zu vertrauen, anstatt kontinuierlich auf verzerrten Daten neu zu trainieren.

Die Autoren bewahren einen bescheidenen Ton und räumen ein, dass ihre Schranken auf spezifischen Regularitätsbedingungen (starke Konvexität, Lipschitz-Stetigkeit) beruhen und die Übergangsabbildung $Tr$ als Black Box behandelt wird. Sie positionieren diese Arbeit als einen grundlegenden Schritt zum Verständnis der Grenzen prädiktiver Systeme in hochsensiblen Bereichen wie Arbeitsvermittlung, Finanzen und Strafjustiz, in denen Vorhersagen Ergebnisse aktiv gestalten.