Topological Signatures of Context-Level Reliability in TabPFN

Technische Samenvatting: Topologische Signaturen van Contextuele Betrouwbaarheid in TabPFN

Probleemstelling
TabPFN is een transformer-gebaseerd foundation model voor tabelvoorspelling dat werkt via in-context leren, waarbij het wordt geconditioneerd op een support-set om taken af te leiden zonder taakspecifieke training. Hoewel TabPFN een sterke empirische prestatie vertoont, blijft de interne gedragsvorm ervan op structureel moeilijke tabelgeometrieën slecht begrepen. Specifiek is het onduidelijk hoe de geometrie van de interne representatie van het model evolueert naarmate de taakcomplexiteit toeneemt en of deze interne structurele veranderingen correleren met de betrouwbaarheid van de voorspellingen van het model (bijv. kalibratie, foutpercentages en overmoed). Bestaand werk heeft Topologische Data Analyse (TDA) toegepast op TabPFN als een feature extractor voor downstream taken, maar de vraag of de topologie van de eigen interne representaties van TabPFN dient als een diagnostisch middel voor de betrouwbaarheid van taken blijft onbeantwoord.

Methodologie
De auteurs introduceren een zigzag persistente homologie-framework om de verborgen representaties van TabPFN over zijn 12 transformer-lagen te analyseren.

• Extractie van Representaties: Verborgen representaties worden geëxtraheerd uit de query label-tokens (en geverifieerd over support feature- en label-tokens) bij elke laag.
• Zigzag Filtratie: Voor elke laag wordt een $k$-nearest-neighbor graaf ($k=4$) geconstrueerd uit de puntenwolk van representaties en uitgebreid naar een simpliciaal complex. Omdat de nearest-neighbor relaties veranderen naarmate representaties evolueren door het netwerk, construeren de auteurs een zigzag filtratie door intersectie-complexen tussen aangrenzende lagen ($K_\ell \cap K_{\ell+1}$) in te voegen, wat een continu topologisch beeld geeft van de evolutie van de representatie.
• Synthetische Benchmark: Om de analyse te funderen in bekende grondwaarheid, hebben de auteurs een gecontroleerde benchmark geconstrueerd van zes synthetische topologie-families met bekende ware conditionele waarschijnlijkheden $P^*(y|x)$:
  1. Warped Circle ($S^1$): Baseline single-loop.
  2. Torus ($T^2$): Twee-loop structuur.
  3. Sphere ($S^2$): Oppervlakte-topologie (H1-insufficiëntie test).
  4. Hopf Link: Twee in elkaar grijpende cirkels.
  5. Trefoil Knot: Geknoopde 1-variëteit.
  6. Swiss Roll: Geometrisch gekromd maar topologisch loop-vrij (negatieve H1 controle).
• Betrouwbaarheidsmetrieken: De studie evalueert betrouwbaarheid met behulp van de Mean Absolute Residual (MAR) tussen voorspelde en ware waarschijnlijkheden, Bayes-fout (discrepantie met de optimale beslissingsregel), geobserveerde fout en overmoed-ratio's.
• Topologische Descriptoren: De analyse richt zich op homologie-dimensies $H_0$ (geconnecteerde componenten/fragmentatie) en $H_1$ (loops/cycli). Metrieken omvatten activiteit (totale persistentie, oppervlakte), stabiliteit (duurzame feature fracties) en timing (birth-persistence heatmaps).

Belangrijkste Bijdragen

1. Zigzag-Persistentie Framework: De eerste toepassing van zigzag persistentie op TabPFN om de evolutie van de in-context taakgeometrie door de transformer-lagen te volgen.
2. Gecontroleerde Topologie Benchmark: Een suite van synthetische tabel-taken met bekende ware waarschijnlijkheden en variërende intrinsieke topologieën (van eenvoudige loops tot geknoopte structuren) ontworpen om de geometrische afhandeling van het model te testen.
3. Topologie-Betrouwbaarheid Correlatie: Demonstratie dat de topologie van de interne representaties van TabPFN de dataset-brede betrouwbaarheidsmetrieken, inclusief foutpercentages en kalibratie, sterk voorspelt.
4. Het "Schaars" Patroon (The "Scissors" Pattern): Identificatie van een duale topologische signature onder stress: naarmate de moeilijkheidsgraad stijgt, neemt de $H_1$ loop-activiteit toe (meer cycli) terwijl de $H_0$ totale persistentie afneemt (geconnecteerde componenten fragmenteren in korter levende stukken).
5. Interpretatie van In-Context Geometrie: Een conceptuele verschuiving waarbij de interne topologie van TabPFN niet alleen wordt gezien als de vorm van de verborgen staat, maar als een diagnostisch middel voor de betrouwbaarheid van de geïnferred in-context taakgeometrie.

Experimentele Resultaten

• Hoge-Resolutie Casestudy (Warped Circle): Bij grote steekproefomvang ($n_{test}=5000$), vertoont de $H_0$ fragmentatie-count een sterke positieve correlatie met de Mean Absolute Residual ($\rho = 0.92$) en de Bayes-fout ($\rho = 0.94$). Omgekeerd correleert de $H_0$ totale persistentie negatief ($\rho = -0.94$). De ruwe $H_1$ oppervlakte verzadigt bij hoge steekproefdichtheden zodra de loop is opgelost, waardoor $H_0$ fragmentatie een schaal-stabieler betrouwbaarheidssignaal is.
• Generalisatie over Families: Het patroon houdt stand over de zes topologie-families. Naarmate de input-geometrie moeilijker wordt, wordt de representatie meer gefragmenteerd ($H_0$ count stijgt) en meer cyclisch ($H_1$ activiteit stijgt), wat samenvalt met een meetbaar verlies aan betrouwbaarheid.
• Het "Schaars" Effect (The Scissors Effect): De studie identificeert een "schaars" patroon waarbij de $H_1$ oppervlakte groeit terwijl de $H_0$ totale persistentie instort. Dit geeft aan dat het model onder topologische stress meer topologische kenmerken produceert, maar deze zijn minder stabiel en korter levend.
• Foutmodi:
  • Complexiteit-gedreven Falen: Voor de meeste families (bijv. Torus, Hopf Link) is de verminderde betrouwbaarheid geassocieerd met verhoogde topologische complexiteit (meer loops, meer fragmentatie).
  • Representatieve Collaps: De Trefoil Knot vertoont een geïnverteerde relatie. Naarmate de knoop moeilijker op te lossen is, lijkt het model zijn representatie te vereenvoudigen of te laten instorten in plaats van rijkere loop-structuren te genereren, wat leidt tot een negatieve correlatie tussen de $H_1$ oppervlakte en de fout.
• Fine-Tuning Limieten: Kleine schaal fine-tuning verbetert de betrouwbaarheid in deze moeilijke topologie-regimes niet significant, wat suggereert dat de beperking gekoppeld is aan de pre-trained prior en de geïnduceerde representatie-topologie, in plaats van aan een gebrek aan taakspecifieke adaptatie.
• Timing: Voor verstrengelde topologieën (Trefoil, Hopf Link) verschuift de persistente $H_1$ activiteit door toenemende moeilijkheid naar latere lagen, terwijl eenvoudigere families geen significante diepteverschuiving laten zien.

Significantie en Claims
Het artikel claimt dat zigzag persistentie een contextueel niveau biedt voor wanneer TabPFN opereert in topologisch gespannen regimes. De interne topologie van de transformer fungeert als een diagnostisch middel voor de betrouwbaarheid van de geïnferred taakgeometrie.

• Diagnostisch Nut: Topologische descriptoren (specifiek $H_0$ fragmentatie en duurzame $H_1$ persistentie) kunnen dienen als vroege waarschuwingen voor dataset-brede betrouwbaarheidsproblemen voordat voorspellingen worden gedaan.
• Theoretisch Inzicht: De resultaten suggereren dat de in-context generalisatie van TabPFN afhangt van de uitlijning tussen de aangeleverde context en de taak-oplossende strategieën die tijdens de pretraining zijn gecodeerd. Wanneer de context een taakgeometrie induceert die moeilijk te representeren is met deze geleerde strategieën (bijv. sterk verstrengelde of gefragmenteerde structuren), fragmenteert de interne topologie, wat een daling in betrouwbaarheid signaleert.
• Toekomstige Richting: De auteurs stellen voor dat toekomstige pretraining-distributies voor tabel-foundation modellen expliciet diverse intrinsieke geometrieën (geconnecteerd, loop-dragend, verstrengeld, geknoopt) moeten bevatten om de generalisatie over topologische regimes te verbeteren, in plaats van simpelweg het aantal synthetische rijen op te schalen.

De studie benadrukt dat deze bevindingen zijn afgeleid van gecontroleerde synthetische data waar de ware waarschijnlijkheden bekend zijn, wat dient als een stresstest van het gedrag van TabPFN onder bekende geometrische condities, waarbij erkend wordt dat real-world datasets extra complexiteiten kunnen introduceren die niet door de generatoren worden gevangen.