Technische Samenvatting: Feature Engineering als Identificeerbaarheidsbias voor OOD-Generalisatie

1. Probleemstelling

Diepe neurale netwerken excelleren in interpolatie binnen het draagvlak van hun trainingsdata, maar falen vaak bij extrapolatie buiten de verdeling (OOD). Hoewel de Stelling van Universele Benadering interpolatiecapaciteiten garandeert, blijft wiskundig gegarandeerde extrapolatie een onopgelost probleem.

Het kernprobleem dat in dit werk wordt geïdentificeerd, is observationele equivalentie. Op elk eindig trainingsvenster $W$ kunnen oneindig veel datagenererende processen (DGP's) $\epsilon$-observationeel equivalent zijn (ononderscheidbaar binnen een tolerantie $\epsilon$), maar toch willekeurig divergeren buiten $W$. Bijgevolg kan geen enkel criterium binnen de verdeling (zoals trainingsverlies, cross-validatie of vastgehouden verlies op $W$) de ware onderliggende processen betrouwbaar onderscheiden van deze verstorende hypothesen. Het artikel betoogt dat OOD-extrapolatie niet-identificeerbaar is vanuit data alleen; de keuze van representatie en modelklasse vormt een "structurele toewijding" die deze ambiguïteit oplost.

2. Methodologie en Theoretisch Kader

2.1 De DGP-toewijding $(\phi, \psi, M)$

De auteurs formaliseren het leerproces als een gezamenlijke toewijding die drie componenten omvat:

1. Feature Map ($\phi$): Transformeert invoer $x$ naar een representatieruimte $Z_x$.
2. Label Map ($\psi$): Transformeert het doel $y$ naar $Z_y$.
3. Modelklasse ($M$): De hypotheseklasse die opereert op de getransformeerde ruimten.

Het artikel stelt dat de triplet $(\phi, \psi, M)$ de aangenomen DGP dicteert. Als deze toewijding overeenkomt met de ware DGP, zodat het doel lineair uitdrukkbaar wordt (of anderszins eenvoudig) in de getransformeerde ruimte, wordt OOD-extrapolatie interpolatie.

2.2 Observationele Equivalentie en Identificeerbaarheid

Propositie 1 stelt vast dat Empirisch Risicominimalisatie (ERM) blind is voor observationeel equivalente processen. Voor elk eindig venster $W$ en ruisniveau $\sigma$, als twee processen $P_1$ en $P_2$ binnen tolerantie $\epsilon$ overeenkomen op $W$, kan geen enkele test die wordt ondersteund op $W$ ze betrouwbaar onderscheiden wanneer $\epsilon\sqrt{n} \ll \sigma$. Dit impliceert dat standaard selectiecriteria (zoals cross-validatie) de knoop niet kunnen doorhakken tussen concurrerende DGP's die observationeel equivalent zijn op de trainingsset.

Propositie 2 introduceert een heuristiek om deze knoop te doorhakken: data nabij de grens. Als twee processen divergeren met een snelheid $r$ buiten het trainingsvenster, zal een validatiesegment met breedte $\delta \ge \epsilon/r$ direct naast de trainingsgrens het akkoordzone verlaten. Het scoren van kandidaten op dit segment nabij de grens maakt de selectie van de juiste structurele toewijding mogelijk.

2.3 Constructief Bestaan

Het artikel demonstreert dat als de ware DGP realiseerbaar is binnen de modelklasse $M$ na transformatie (d.w.z. $g^* \circ \phi = f$ op alle $X$, niet alleen op $W$), en het model identificeerbaar is vanuit eindige steekproeven, dan verdwijnt de OOD-fout ($\epsilon_{OOD} = 0$). Dit wordt aangetoond voor:

• Sinusfuncties: Het gebruik van Fourier-coördinaten $\phi(x) = (\sin x, \cos x)$ maakt periodieke extrapolatie om tot interpolatie op een cirkel $S^1$.
• Machtsfuncties: Het gebruik van log-log-transformaties.
• Exponentiële functies: Het gebruik van log-y-transformaties.

3. Belangrijkste Bijdragen

1. Formalisatie van Observationele Equivalentie: Het artikel biedt een theoretische ondergrens voor het vermogen van elke test binnen de verdeling om observationeel equivalente processen te onderscheiden, en bewijst dat OOD-risico niet-identificeerbaar is zonder structurele toewijdingen.
2. Het DGP-toewijdingskader: Het identificeert $(\phi, \psi, M)$ als de enige bron van structurele informatie die een modeller kan leveren om OOD-ambiguïteit op te lossen. Het betoogt dat "feature engineering" geen afwijking is van het succes van deep learning, maar de expliciete injectie van de noodzakelijke structurele toewijding.
3. Gecontroleerde Experimenten met Minimale Paren: De auteurs isoleren variabelen om aan te tonen dat identieke architecturen met identieke loss binnen de verdeling (ID) kunnen verschillen met ordes van grootte (bijv. $\sim520\times$) in OOD-prestaties, uitsluitend gebaseerd op de feature map $\phi$.
4. Validatie over Domeinen: Het mechanisme wordt gevalideerd over drie domeinen uit de natuurwetenschappen:
   • Chemie: Massa-actiekinetiek (MAK) waarbij bilineaire features de dynamiek lineariseren.
   • Fysica: De Derde Wet van Kepler voor exoplaneetvoorspelling, waarbij log-transformaties fysieke exponenten herstellen.
   • Biologie: Cross-species detectie van coderend DNA, waarbij genetische-code-invariante features zero-shot transfer mogelijk maken over organismen met variërende GC-gehalte.
5. Artefacten voor de Praktijk:
   • Validatie Nabij de Grens: Een selectieheuristiek die superieur is aan cross-validatie voor het kiezen van feature maps.
   • $\delta_{OOD}$-diagnose: Een metriek gebaseerd op SINDy (Sparse Identification of Nonlinear Dynamics) die de residual van een sparse fit op OOD-data correleert met de correctheid van de feature map.
   • Controle op Architectuur-invariantie: Een studie die aantoont dat de OOD-garantie toebehoort aan de feature map (bijv. Exacte Fourier Positieve Encoding), en niet aan de backbone (Transformer, Mamba, of S4D).

4. Experimentele Resultaten

4.1 Toy-experimenten (Sin(x) en Machtsfuncties)

• Sin(x): Een MLP getraind op ruwe $x$ extrapoleert als een gladde, nivellerende curve met een hoge OOD-fout ($\sim156\%$). Een identieke MLP getraind op Fourier-features $(\sin x, \cos x)$ bereikt een bijna nul OOD-fout ($\sim0.3\%$). Foundation-modellen (TimesFM, TabPFN) vertonen hetzelfde gedrag: ze slagen wanneer het invoerformaat impliciet de juiste feature map biedt en falen anderszins.
• Machtsfunctie versus Exponentieel: In een setting waarbij $x^2$ en $e^{\alpha(x-1)}$ observationeel equivalent zijn op $[1, 2]$, bereikt alleen de juiste log-getransformeerde feature map gecombineerd met een lineair model (OLS) een lage OOD-fout. Verkeerde toewijdingen (bijv. log-log op een exponentieel doel) resulteren in catastrofale uitval ($>9.999\%$ fout).

4.2 Domeinen uit de Natuurwetenschappen

• Chemie (MAK): Bilineaire features laten OLS toe om de exacte regerende vergelijkingen te herstellen met $0.0\%$ OOD-fout, terwijl ruwe MLP's falen ($24.4\%$).
• Fysica (Kepler): Het gebruik van $(\log a, \log M_{star})$ met OLS herstelt de natuurwet met $3.8\%$ OOD-fout. Ruwe MLP's overfitten de ID-data ($6.9\%$) maar falen op OOD ($79.0\%$).
• Biologie (CDS): Standaard positieve encodings (geleerde APE, sinusvormig) falen om te generaliseren over soorten met verschillende GC-gehalten (dalend tot kansniveaus). Feature maps die codonperiodiciteit en aminozuursamenstelling coderen, mogelijk maken zero-shot transfer met een AUROC tot $0.96$.

4.3 Architectuur-invariantie (Transformer, Mamba, S4D)

In een periodieke sequentietaken bereikt Exacte Fourier Positieve Encoding een bijna nul OOD-fout ($\le 0.2\%$) over alle drie de architecturen en diverse periodelengten. Daarentegen falen standaard sinusvormige, RoPE- en geleerde positieve encodings ($>90\%$ fout). Dit bevestigt dat de OOD-garantie een eigenschap is van de feature map, en niet van de architectuur.

4.4 Grenzen en Noodzakelijke Voorwaarden

Met behulp van een periodieke $d$-torus-benchmark identificeert het artikel drie gezamenlijk noodzakelijke voorwaarden voor OOD-generalisatie:

1. Representatie-uitlijning: De feature map moet uitgelijnd zijn met de DGP.
2. Capaciteit van de Modelklasse: Het model moet in staat zijn om de interactieorde van het doel in de getransformeerde ruimte uit te drukken.
3. Dekking: De trainingsdata moeten het relevante representatieruimte voldoende dekken (kritieke dekking $M_{crit} \approx 4$).
   De studie toont aan dat zelfs met een correcte feature map, OOD-fout optreedt als de modelklasse geen capaciteit mist of als steekproefdekking onvoldoende is.

5. Betekenis en Beweringen

Het artikel claimt de "wanneer en waarom" van het falen van neurale netwerken bij extrapolatie op te lossen. Het betoogt dat:

• OOD-risico niet-identificeerbaar is vanuit data op een enkel venster; de structurele toewijding $(\phi, \psi, M)$ is het enige mechanisme om dit op te lossen.
• Feature engineering niet verouderd is. Hoewel deep learning features binnen de verdeling kan leren, zijn expliciete structurele toewijdingen vereist voor extrapolatie.
• Pretraining het probleem niet oplost. Gepretrainde modellen erven het toewijdingsprobleem via hun invoerformaat; ze slagen alleen wanneer de gebruiker de juiste transformatie levert.
• Correcte features noodzakelijk maar niet voldoende zijn. De modelklasse moet het doel kunnen uitdrukken, en de data moeten de representatieruimte dekken.

De auteurs concluderen dat de "Rashomon-set" (de set van modellen die overeenkomen op trainingsdata maar het oneens zijn buiten de verdeling) niet door data alleen wordt bevaren, maar door de keuze van de modeller voor structurele toewijding. Het artikel herformuleert feature engineering als de expliciete injectie van de DGP-toewijding die nodig is om extrapolatie identificeerbaar te maken.