Exposure Bias as Epistemic Underidentification in Recursive Forecasting

Technische Samenvatting: Exposure Bias als Epistemische Onderidentificatie in Recursieve Voorspelling

Probleemstelling
Recursieve multi-stap voorspelling wordt traditioneel geframed als een distributieverschuivingsprobleem (covariabele shift), waarbij modellen getraind op geobserveerde geschiedenissen (via teacher forcing) worden ingezet op zelfgegenereerde voorspellingen, wat leidt tot cumulerende fouten die bekend staan als exposure bias. Dit artikel betoogt dat deze framing incompleet is. De auteurs stellen dat onder omstandigheden van partiële observeerbaarheid, ruis of staatstruncatie, recursieve voorspelling niet louter een mismatch is tussen trainings- en testdistributies, maar fundamenteel een probleem is van epistemische onderidentificatie.

Specifiek stelt het artikel dat een een-stap Bayes-optimale voorspeller, getraind op geobserveerde contexten, mogelijk niet in staat is om het correcte gedrag voor het recursieve rollout-proces uniek te identificeren. Wanneer een model zijn eigen toekomstige toestanden genereert (geïnduceerde toestanden), is de numerieke waarde van deze toestanden alleen mogelijk onvoldoende om de correcte lokale doelstelling te bepalen. De "correcte" volgende stap kan afhankelijk zijn van de provenance (herkomst) van de staat (bijv. of deze geobserveerd of zelfgegenereerd is), informatie die verloren gaat wanneer de staat wordt afgekapt tot een numerieke representatie. Bijgevolg opereert de ingezette recursieve voorspeller in een regime waarin de lokale doelstelling door de staatrepresentatie alleen ondergeïdentificeerd is.

Methodologie en Theoretisch Kader
De auteurs formaliseren dit probleem met een kader van geïnduceerde toestanden ($Z_h$) en provenance-variabelen ($P_h$).

• Geïnduceerde toestanden ($Z_h$): De numerieke staat op een specifieke rollout-diepte $h$, afgeleid van de eigen outputs van de voorspeller.
• Provenance ($P_h$): Informatie die beschrijft hoe de staat tot stand is gekomen (bijv. geobserveerd versus modelgegenereerd).

Het artikel stelt drie theoretische componenten vast:

1. Onderidentificatietheorema: De auteurs bewijzen dat zelfs als twee recursieve voorspellers identiek zijn op de geobserveerde ondersteuning (dezelfde een-stap Bayes-risico bereiken), zij verschillende multi-stap voorspellingen kunnen induceren zodra zij zelfgegenereerde toestanden buiten die ondersteuning opvragen. De een-stap doelstelling legt het gedrag op deze geïnduceerde toestanden niet vast.
2. Foutdecompositie: De fout in recursieve voorspelling wordt gedecomposeerd in drie niet-negatieve termen:
   • Teacher-forcing/Rollout Mismatch: Het onvermogen van een voorspeller die getraind is op geobserveerde data om te generaliseren naar de geïnduceerde-staatstaak.
   • Representatie–Class Gap: De benaderingsfout van de gekozen functieklasse op de geïnduceerde representatie.
   • Provenance Gap: Het herstelbare informatieverlies dat optreedt door het weglaten van provenance-data uit de staat-input.
3. Provenance Nut: Theoretisch kan het conditioneren op provenance het Bayes-risico op geïnduceerde toestanden strikt verminderen als de verwachte doelstelling verschilt op basis van hoe de staat is gegenereerd (d.w.z. $E[Y|Z, P] \neq E[Y|Z]$).

Empirische Evaluatie
De auteurs testen deze theoretische claims op drie numerieke voorspellingsdatasets (ETTh1, MG, Weather) met behulp van Multi-Layer Perceptrons (MLP's) en GRU's. De experimenten zijn ontworpen om vier specifieke voorspellingen te valideren:

1. Distinct Regime: Betreedt de rollout een staat-regime dat verschillend is van de geobserveerde trainingsdata?
   • Resultaat: Lineaire probes getraind om geobserveerde contexten te onderscheiden van teacher-forced geïnduceerde staten tonen een toenemende nauwkeurigheid met de rollout-diepte, wat bevestigt dat recursieve inzet de modellen in een distinct staat-regime brengt.
2. Distinct Local Task: Is de taak van het voorspellen op vaste geïnduceerde staten anders dan de oorspronkelijke een-stap taak?
   • Resultaat: Wanneer geïnduceerde staten bevroren zijn en opnieuw getraind worden, varieert de prestatie aanzienlijk over verschillende datasets. Op sommige datasets (MG, Weather) verbetert het opnieuw leren op vaste geïnduceerde staten de prestaties; op andere (ETTh1) verslechtert het de prestaties. Dit suggereert dat de geïnduceerde-staatstaak niet louter een verschoven versie is van de oorspronkelijke taak, maar een structureel ander probleem.
3. Provenance Nut: Helpt het toevoegen van provenance-informatie?
   • Resultaat: Een binaire provenance-tag (geobserveerd versus gegenereerd) biedt conditionele winst. In de "frozen-state" setting zijn de winsten beperkt, wat suggereert dat de eenvoudige binaire codering slechts een fractie van het theoretische potentieel vangt. Echter, in closed-loop settings tonen provenance-bewuste methoden veelbelovende resultaten op specifieke datasets.
4. Closed-Loop Dynamiek: Helpt correctie door de bezochte toestanden te veranderen, en niet alleen door de lokale voorspelling te verbeteren?
   • Resultaat: Closed-loop correctie (gebruikmakend van Scheduled Sampling met Provenance) verbetert de algehele rollout-prestaties. Cruciaal is dat de auteurs laten zien dat modellen getraind met correctie geïnduceerde staten genereren die "makkelijker" zijn voor andere voorspellers om te verwerken, wat aangeeft dat correctie het geïnduceerde-staat-regime zelf verbetert, en niet alleen de lokale voorspeller.

Belangrijkste Bijdragen

• Herformulering van Exposure Bias: Het artikel herkadert exposure bias van een eenvoudige mismatch tussen train- en testdistributies naar een probleem van epistemische onderidentificatie voortvloeiend uit een onvoldoende staatrepresentatie in gedeeltelijk observeerbare systemen.
• Formele Decompositie: Het biedt een rigoureuze decompositie van de recursieve voorspellingsfout in mismatch-, benaderings- en provenance-informatiekloven.
• Empirisch Bewijs van Distincte Regimes: Het demonstreert dat recursieve rollout een distinct geïnduceerd staat-regime betreedt en dat de lokale correctieve taak op deze staten heterogeen en dataset-afhankelijk is.
• Mechanisme van Correctie: Het toont aan dat de voordelen van recursieve correctie niet alleen voortkomen uit een betere lokale passing, maar ook uit het wijzigen van het traject van de bezochte geïnduceerde staten tijdens de inzet.

Betekenis en Claims
Het artikel claimt dat het begrijpen van exposure bias vereist dat men erkent dat recursieve inzet een voorspellingsprobleem creëert waarbij de lokale doelstelling niet uitsluitend door de numerieke staat wordt bepaald. De betekenis ligt in de verschuiving van het narratief: van het beschouwen van exposure bias als een loutere covariabele shift naar het behandelen ervan als redeneren onder zelf-geïnduceerde epistemische onzekerheid.

De auteurs merken bescheiden op dat hun specifieke binaire provenance-codering een minimaal signaal is en dat de winsten conditioneel en niet uniform zijn. Zij stellen geen universele oplossing voor, maar argumenteren dat toekomstig methodologisch ontwerp zich moet richten op het exploiteren van informatie over hoe staten worden gevormd (bijv. rollout-diepte, onzekerheidsschattingen of gestructureerde sporen) om de aliasing tussen geobserveerde en geïnduceerde staten op te lossen. Het werk dient als een testbed voor epistemische onzekerheid in sequentieel leren, en suggereert dat het verbeteren van recursieve voorspelling vereist dat men de onderidentificatie van de ingezette recursieve kaart aanpakt.