Technische Samenvatting: Gekoppelde PFN's via Gestructureerde Synthetische Priors

Probleemstelling

Prior-Fitted Networks (PFN's) bieden een krachtig mechanisme voor geamortiseerde Bayesiaanse voorspelling door meta-learning over synthetische taak-priors. Ze mappingen een contextdataset en een query-invoer naar een posterieure voorspellende verdeling in één enkele forward pass, waardoor optimalisatie per taak overbodig wordt. Voor sequentiële besluitvormingstaken zoals Actief Leren en Bayesiaanse Optimalisatie (BO) vormt de standaard PFN-uitvoer echter een kritieke beperking: deze biedt een posterieure voorspellende verdeling over ruisbeïnvloede waarnemingen ($p(y^*|x^*, D)$).

Deze verdeling vermengt twee verschillende bronnen van onzekerheid:

1. Epistemische onzekerheid: Verminderbare onzekerheid over het latente signaal (de onderliggende functie).
2. Aleatorische onzekerheid: Onvermijdbare onzekerheid als gevolg van waarnemingsruis.

Bij sequentiële besluitvorming zouden acquisitiefuncties prioriteit moeten geven aan het verminderen van epistemische onzekerheid om het latente signaal te verkennen. Als een model niet kan onderscheiden tussen hoge ruis (aleatorisch) en hoge onwetendheid (epistemisch), kunnen acquisitieregels gebaseerd op de totale voorspellende variantie het budget verspillen door herhaaldelijk gebieden met hoge ruis te bevragen in plaats van onontdekte gebieden van de latente functie.

Het artikel stelt een theoretische barrière op voor het oplossen hiervan met standaard PFN's: Propositie 1 bewijst dat de epistemisch-aleatorische splitsing niet identificeerbaar is uit de marginale voorspellende verdeling alleen. Zelfs als een standaard PFN de marginale voorspellende verdeling $p(y^*|x^*, D)$ perfect leert, bestaat er een continuüm van additieve decomposities in signaalvariantie en ruisvariantie die exact dezelfde marginale verdeling opleveren. Bijgevolg heeft een standaard PFN die uitsluitend is getraind op ruisbeïnvloede doelen geen objectiefniveau-impuls om een unieke decompositie te leren.

Methodologie

Om deze niet-identificeerbaarheid te overwinnen, maken de auteurs gebruik van het unieke voordeel van PFN's: het synthetische data-generatieproces staat onder controle van de onderzoeker. Zij stellen een Gekoppelde PFN-architectuur voor die wordt getraind met geprivilegieerde supervisie afgeleid van een uitgebreide synthetische taak-prior.

1. Uitgebreide Synthetische Taak-Prior

Tijdens pretraining wordt de synthetische generator aangepast om expliciet de signaal-ruis decompositie te definiëren voor elke taak $\tau$:

• Een ruisvrije latente signaalfunctie $f_\tau(x)$ wordt gesampled.
• Een waarnemingsruisfunctie $\sigma^2_\tau(x)$ wordt gesampled (met ondersteuning voor zowel homoscedastische als heteroscedastische ruis).
• Waarnemingen worden gegenereerd als $y = f_\tau(x) + \epsilon$, waarbij $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$.

Cruciaal is dat de generator geprivilegieerde hulpdoelen biedt tijdens training: het ruisvrije signaal $f_\tau(x^*)$ en de ruisvariantie $\sigma^2_\tau(x^*)$ voor elke query. Tijdens de testfase ontvangt het model alleen de standaard invoer (context $D$ en query $x^*$), waardoor de standaard PFN-interface behouden blijft.

2. Gekoppelde Gebinnde Architectuur

Het model wordt aangepast om de signaal- en ruisonderdelen afzonderlijk te voorspellen met behulp van een gebinnde uitvoerstrategie:

• Latent-Signaal Hoofd (Epistemisch): Voorspelt een categorische verdeling $\pi^{(f)}_\theta$ over vaste bins die het ruisvrije signaal $f^*$ representeren. Deze verdeling vat epistemische onzekerheid samen.
• Aleatorisch Hoofd: Voorspelt de waarnemingsruisvariantie $\hat{\sigma}^2_\theta(x^*, D)$ in log-variantieruimte.
• Geïnduceerde Voorspelling: De uiteindelijke voorspellende verdeling op waarnemingsniveau $p(y)$ wordt verkregen door de latente signaalverdeling te convolueren met het geleerde Gaussische ruismodel. Dit zorgt ervoor dat het model de standaard PFN-interface behoudt voor taken op waarnemingsniveau, terwijl het latente signaal wordt blootgelegd voor besluitvorming.

3. Trainingsdoel

Het trainingsdoel combineert drie verliescomponenten:

1. Voorspellend Verlies: Standaard gebinnde negatieve log-likelihood op de geïnduceerde waarnemingsverdeling (zorgend dat het model een goede voorspeller van $y$ blijft).
2. Epistemisch Verlies: Cross-entropy verlies op de latente signaalbins, gesuperviseerd door het geprivilegieerde $f_\tau(x^*)$.
3. Aleatorisch Verlies: Kwadratische fout in log-variantieruimte, gesuperviseerd door de geprivilegieerde $\sigma^2_\tau(x^*)$.

De auteurs bewijzen (Propositie 2) dat onder dit doel de hulp-hoofden de Bayes-optimale conditionele verdeling van de gediscretiseerde signaal en het conditionele geometrische gemiddelde van de ruisvariantie herstellen.

4. Acquisitiestrategie

Voor downstream-taken (BO, HPO, Actief Leren) definiëren de auteurs acquisitiefuncties met behulp van alleen-epistemische metrieken afgeleid van het latente hoofd (bijvoorbeeld Verwachte Verbetering gebaseerd op het latente gemiddelde en de epistemische variantie), in plaats van de totale voorspellende variantie die door standaard baselines wordt gebruikt.

Belangrijkste Bijdragen

1. Theoretische Niet-Identificeerbaarheid: Het artikel toont formeel aan dat de posterieure voorspellende verdeling van een standaard PFN niet uniek een epistemisch-aleatorische decompositie identificeert, zelfs niet bij perfect leren van de marginale verdeling.
2. Gekoppelde PFN-Architectuur: Een nieuwe methode die gebruikmaakt van geprivilegieerde supervisie van de synthetische generator om aparte hoofden te trainen voor latente signalen en ruis, waardoor het model een voor besluitvorming relevant epistemisch signaal kan blootleggen.
3. Empirische Validatie: De methode wordt geïmplementeerd op twee openbare foundation-modellen (TabICL en TabPFN v2.5) en geëvalueerd op Hyperparameter Optimalisatie (HPO), Synthetische Bayesiaanse Optimalisatie en Actief Leren.

Resultaten

Het artikel rapporteert resultaten over drie hoofdsettings, waarbij de Gekoppelde modellen worden vergeleken met overeenkomstige "Gestemde" baselines (die dezelfde backbone en pretraining delen maar de gekoppelde hoofden en geprivilegieerde supervisie missen) en standaard externe baselines (GP, TPE, Random Search).

• Hyperparameter Optimalisatie (HPO): De gekoppelde modellen tonen hier de duidelijkste winst. In een scan van 8 benchmarks met ruisbeïnvloede en heteroscedastische evaluaties (bijvoorbeeld LightGBM, XGBoost, Random Forest), behaalde het Dec-ICL (Gekoppelde TabICL) model de beste gemiddelde rang (2,50), aanzienlijk beter dan zijn gestemde tegenhanger (3,62). De auteurs schrijven dit toe aan het vermogen van alleen-epistemische acquisitie om gebieden met hoge ruis in de zoekruimte te vermijden.
• Synthetische Bayesiaanse Optimalisatie: Op gladde, laagdimensionale synthetische benchmarks (Branin, Hartmann, Ackley) blijven de gekoppelde modellen concurrerend. Dec-PFN behaalde de beste gemiddelde rang (2,60), iets beter dan zijn gestemde tegenhanger (2,80) en beter dan standaard GP- en TPE-baselines. De winsten waren kleiner dan bij HPO, wat overeenkomt met het feit dat gladde, ruisarme functies totale en epistemische onzekerheid dichter bij elkaar brengen.
• Actief Leren: Op real-world regressiedatasets presteerden de gekoppelde modellen die epistemische variantie gebruikten voor acquisitie consistent beter dan gestemde baselines die totale variantie gebruikten in 7 van de 10 RMSE-vergelijkingen.

Betekenis en Claims

Het artikel claimt dat de primaire waarde van de voorgestelde methode ligt in sequentiële besluitvorming en niet in pure regressienauwkeurigheid.

• Mitigatie van Falingsmodi: De gekoppelde aanpak mitigeert de falingsmodus van "totale-variantie-ontdekking", waarbij standaard modellen vast komen te zitten in gebieden met hoge ruis omdat ze ruis niet kunnen onderscheiden van onwetendheid.
• Inductieve Bias Transfer: De methode toont aan dat een signaal-ruis decompositie die via geprivilegieerde supervisie op synthetische data wordt geleerd, effectief overdraagt naar real-world taken, en fungeert als een nuttige inductieve bias.
• Herformulering van PFN's: De auteurs suggereren dat PFN's niet alleen moeten worden gezien als snelle benaderingen van posterieure voorspellingen, maar als voertuigen voor het leren van voor besluitvorming relevante onzekerheidsrepresentaties door het ontwerpen van synthetische pretraining-doelen.

De auteurs blijven bescheiden over de reikwijdte, met de opmerking dat de effectiviteit afhangt van hoe goed de synthetische ruisveronderstellingen overdragen naar real-world taken, en dat de huidige implementatie Gaussische moment-gematchte benaderingen gebruikt voor acquisitie, wat een praktische vereenvoudiging is. De winsten zijn het meest uitgesproken in ruisbeïnvloede, gestructureerde settings (zoals HPO) en minder kritiek in gladde, ruisarme omgevingen.