Pre-trained Tabular Foundation Models as Versatile Summary Networks for Neural Posterior Estimation

Technische Samenvatting: Vooraf getrainde tabulaire fundamentele modellen als veelzijdige samenvattingsnetwerken voor neurale posterior-schatting

Probleemstelling

Simulatiegebaseerde inferentie (SBI) lost problemen met Bayesiaanse inferentie op waarbij de waarschijnlijkheidsfunctie $p(x|\theta)$ onberekenbaar is of duur om te evalueren, maar waarbij steekproeven kunnen worden gegenereerd via een simulator $x \sim p(x|\theta). Standaard neurale SBI-methoden, zoals Neurale Posterior-schatting (NPE), trainen doorgaans conditionele dichtheidsschatters direct op gesimuleerde parameter-observatieparen. De kwaliteit van deze schatters hangt echter sterk af van het simulatiebudget en de kwaliteit van de samenvattingsstatistieken die worden gebruikt om observaties te representeren. Waar vooraf aangepaste netwerken (PFN's) zoals TabPFN een trainingsvrije route bieden naar geamortiseerde inferentie door zich via context-gebaseerd leren aan nieuwe taken aan te passen, is hun toepassing op SBI beperkt gebleven. Vorig werk (NPE-PFN) gebruikte TabPFN als een directe autoregressieve posterior-sampler, beperkt door de contextgrootte en de scalair doelwit-interface. Dit artikel onderzoekt een alternatieve aanpak: het benutten van TabPFN niet als directe sampler, maar als een bevroren, modulair samenvattingsnetwerk om informatieve representaties van simulatoruitkomsten te extraheren voor downstream inferentie.

Methodologie: PFN-NPE

De auteurs stellen PFN-NPE voor, een algemeen recept dat het leren van representaties ontkoppelt van het posterior-sampling. De methode bestaat uit drie configureerbare componenten:

1. Contextopbouw: Voor elke parametercoördinaat $d$ van de parameter vector $\theta$ wordt een scalair regressiecontext $C_d$ opgebouwd met behulp van een subset van $m$ trainingsimulaties. In deze context dienen simulatoruitkomsten $x_i$ als tabulaire kenmerken, en fungeert de scalair parametercoördinaat $\theta_{i,d}$ als het regressiedoelwit.
2. Bevroren samenvattingsextractie: Een vooraf getrainde TabPFN-encoder (gewichten vast) wordt voor elke trainingsimulatie, validatiesimulatie en referentieobservatie $x_o$ geraadpleegd met behulp van de context $C_d$. Dit levert een embedding van de laatste laag $h_d(x)$ op voor elke parametercoördinaat. Deze embeddings worden geconcentreerd om een ruwe samenvatting $h_{raw}(x)$ te vormen.
3. Projectie en inferentie: De ruwe samenvatting wordt geprojecteerd naar een vaste dimensie (standaard 64) met behulp van een lineaire transformatie (bijvoorbeeld PCA) die is gefit op de trainingsset. Vervolgens wordt een conditionele dichtheidsschatter (standaard: Neural Spline Flow) getraind op paren van deze vaste samenvattingen en de corresponderende parameters $\{(s(x_i), \theta_i)\}$.

Cruciaal is dat TabPFN slechts één keer wordt geraadpleegd tijdens de fase van vooraf berekenen van de samenvatting. De downstream inferentiekop is taakspecifiek en wordt getraind op de vaste samenvattingen, waardoor het fundamentele model kan dienen als een herbruikbaar component over verschillende SBI-taken.

Belangrijkste Bijdragen

1. Formulering van PFN-NPE: Het artikel formuleert een methode die een bevroren TabPFN gebruikt als samenvattingsnetwerk voor Neurale Posterior-schatting, waarbij de representatiecapaciteiten van het fundamentele model worden gescheiden van het posterior-samplingmechanisme.
2. Uitgebreide Empirische Evaluatie: De auteurs evalueren PFN-NPE over de SBIBM-benchmarksuite, inclusief standaardtaken, varianten met hinderlijke coördinaten (afleiders) en gestructureerde tijdreeks-simulators, onder gelijkgestelde simulatiebudgetten (doorgaans $n=10.000$).
3. Diagnostisch Kader: Naast geaggregeerde gezamenlijke prestaties hanteert de studie marginale C2ST, C2ST in rang-ruimte en kwantielprobes om te ontleden waar posterior-discrepanties ontstaan. Dit omvat het analyseren of bevroren samenvattingen marginale locatie, schaal en gezamenlijke afhankelijkheidsstructuren behouden.

Resultaten

De empirische vergelijking onthult een taakafhankelijk landschap van prestaties:

• Prestaties: Bij een budget van 10.000 simulaties bereikt de autoregressieve NPE-PFN-methode over het algemeen de laagste gemiddelde gezamenlijke C2ST op standaard benchmarktaken (bijvoorbeeld Bernoulli GLM, SIR, Lotka-Volterra). Echter, PFN-NPE presteert beter dan zowel NPE-PFN als NPE-baselines met geleerde samenvattingen op mengselmodellen (bijvoorbeeld Gaussisch Mengsel) en taken met hinderlijke coördinaten (afleiders).
• Marginale versus Gezamenlijke Informatie: Diagnostische probes geven aan dat door TabPFN afgeleide samenvattingen vaak bruikbare een-dimensionale posterior-informatie behouden. Lineaire probes decoderen succesvol posterior-middens en marginale kwantielen uit de bevroren embeddings over verschillende taken.
• Beperkingen in Gezamenlijke Structuur: Ondanks goede marginale herstel, vertoont PFN-NPE verhoogde gezamenlijke C2ST en C2ST in rang-ruimte op taken met complexe afhankelijkheidsstructuren (bijvoorbeeld SLCP, Lotka-Volterra, tijdreeksen). De "gezamenlijk-min-marginaal"-kloof suggereert dat, hoewel de samenvattingen marginale locatie en schaal vangen, ze moeite hebben om de volledige gezamenlijke posterior-geometrie weer te geven die nodig is voor nauwkeurige multivariate sampling.
• Efficiëntie: PFN-NPE kent een eenmalige kost voor embedding en flow-training, maar biedt verwaarloosbare samplingkosten voor herhaalde queries, in tegenstelling tot NPE-PFN, dat voor elke query context-gebaseerde inferentie uitvoert.

Betekenis en Beweringen

Het artikel beweert dat TabPFN kan dienen als een effectief, trainingsvrij samenvattingsnetwerk voor SBI, met name in situaties die mengselverdelingen of hinderlijke coördinaten omvatten, waar standaard geleerde samenvattingen mogelijk moeite hebben. De betekenis ligt in het aantonen dat bevroren fundamentele modellen voldoende marginale posterior-informatie kunnen coderen om downstream dichtheidsschatting te ondersteunen, zelfs zonder taakspecifieke fijnafstelling.

De auteurs zijn echter bescheiden over de universaliteit van de methode. Zij stellen expliciet dat de primaire faalmodus voor deze bevroren-samenvattingsaanpak de representatie van multivariate afhankelijkheidsstructuren is. De diagnostiek suggereert dat, hoewel het voortrainingsdoelwit (scalair supervisievoorspelling op structurele causale modellen) goed aansluit bij taken die marginale herstel vereisen, het niet inherent de complexe gezamenlijke afhankelijkheden kan vangen die nodig zijn voor nauwkeurige posterior-sampling in alle SBI-regimes. Het artikel concludeert dat PFN-NPE een veelzijdig, modulair alternatief is dat de last van posterior-approximatie verschuift naar de inferentiekop, maar dat de effectiviteit afhankelijk is van de uitlijning tussen de voortrainingsprior van het fundamentele model en de structurele vereisten van de specifieke SBI-taak.