💬 NLP

Validity Threats for Foundation Model Research

Dit artikel betoogt dat kostenbesparende onderzoeksstrategieën voor foundation models, zoals proxy-experimenten en observationele studies, specifieke validiteitsbedreigingen introduceren die systematisch geïdentificeerd en beheerd kunnen worden via een voorgesteld causaal inferentiekader aangepast van de empirische sociale wetenschappen.

Oorspronkelijke auteurs: Gunnar König, Martin Pawelczyk, Ulrike von Luxburg, Sebastian Bordt

Gepubliceerd 2026-06-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gunnar König, Martin Pawelczyk, Ulrike von Luxburg, Sebastian Bordt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het perfecte recept te ontdekken voor een gigantische, wereldveranderende taart. Vroeger konden bakkers gewoon een paar testtaarten bakken, proeven, de ingrediënten aanpassen en het opnieuw proberen. Maar tegenwoordig zijn "foundation models" (die gigantische AI-taarten) zo enorm groot dat het bakken van zelfs maar één taart duizenden computers vereist en miljoenen dollars kost. Je kunt het je niet veroorloven om honderd testtaarten te bakken om te zien of het toevoegen van een snufje "wiskundige data" de taart lekkerder maakt.

Daarom hebben onderzoekers slimme afkortingen uitgevonden om de resultaten te raden zonder de gigantische taart daadwerkelijk te bakken. Dit artikel betoogt dat er niet zoiets bestaat als een gratis lunch. Elke afkorting bespaart je geld en tijd, maar introduceert verborgen risico's die je conclusies onjuist kunnen maken.

De auteurs stellen een "veiligheidschecklist" voor op basis van vier soorten validiteit (betrouwbaarheid) om onderzoekers te helpen deze risico's te herkennen. Hier is de uitsplitsing met behulp van eenvoudige analogieën:

De Vier Soorten "Validiteit" (De Veiligheidschecklist)

Beschouw dit als vier manieren waarop een test mis kan gaan:

Statistische Validiteit: Is de steekproef groot genoeg? Als je één kruimel van een taart proeft en zegt: "Deze hele taart is te zoet," heb je misschien gewoon pech gehad. Je hebt genoeg data nodig om het zeker te weten.
Interne Validiteit: Heb je de verandering daadwerkelijk veroorzaakt? Als een taart lekkerder smaakt, kwam dat dan door het nieuwe ingrediënt, of was de oven die dag gewoon heter? Je moet er zeker van zijn dat de "behandeling" de oorzaak was van het resultaat, en niet een verborgen factor.
Externe Validiteit: Is dit van toepassing op het echte ding? Als je een recept test op een klein cupcakeje, werkt het dan ook voor een bruiloftstaart van drie meter hoog? Alleen omdat het op kleine schaal werkt, betekent niet dat het ook op grote schaal werkt.
Constructvaliditeit: Meet je wel het juiste? Als je wilt weten of een taart "lekker" is, maar je meet alleen het "gewicht", dan meet je het verkeerde.

De Drie Afkortingen (en hun specifieke risico's)

Het artikel analyseert drie belangrijke manieren waarop onderzoekers proberen de gigantische taart te vermijden te bakken. Elk heeft een uniek "gevarenprofiel".

1. De "Proxy"-benadering (De Mini-Taart Test)

Het Idee: In plaats van de gigantische taart van 90 miljard parameters te bakken, bak je een kleine versie van 1 miljard parameters. Je gaat ervan uit dat de kleine taart zich precies gedraagt als de grote taart.

Het Risico (Externe Validiteit): Dit is de grootste valkuil. Soms gedragen kleine taarten zich totaal anders dan gigantische taarten. Een bepaald gedrag kan pas "emergeren" (verschijnen) wanneer de taart enorm groot is. Als je alleen de mini-taart test, mis je misschien de magie die pas bij enorme schaal optreedt.
Het Goede Nieuws: Als je de experimenten op de mini-taart uitvoert, weet je meestal precies wat de oorzaak van het resultaat was (Interne Validiteit is goed), omdat je de ingrediënten onder controle had.

2. De "Observationele" Benadering (De Receptenboekstudie)

Het Idee: In plaats van iets nieuws te bakken, kijk je naar de openbare "receptenboeken" (technische rapporten) van taarten die anderen al hebben gebakken. Je zoekt naar patronen: "Elke keer dat ze Ingrediënt X gebruikten, was de taart goed."

Het Risico (Interne Validiteit): Dit is gevaarlijk vanwege Confounding (verwarrende variabelen). Stel dat je merkt dat taarten gemaakt in 2024 beter zijn dan die uit 2020. Je zou kunnen denken dat het komt door een nieuw ingrediënt. Maar eigenlijk zijn de bakkers misschien beter geworden, of is de bloem verbeterd, of hebben ze gewoon meer suiker gebruikt. Het "kalenderjaar" is een verborgen factor die je data in de war brengt. Je kunt niet bewijzen dat het ingrediënt de oorzaak was van het succes; je ziet alleen een correlatie.
Het Goede Nieuws: Je kijkt naar echte, gigantische taarten, dus de resultaten zijn van toepassing op de echte wereld (Externe Validiteit is goed).

3. De "Single-Run" Benadering (Het Eén-Bak-Experiment)

Het Idee: Je bakt slechts één taart. Maar je probeert de wiskunde te slim af te zijn door elke individuele korrel meel in die ene taart te behandelen als een apart "mini-experiment". Je vraagt: "Heeft deze specifieke korrel wiskundige data de taart beter gemaakt?"

Het Risico (Interne Validiteit): Dit schendt de regel van Interferentie. In een echt experiment mag het veranderen van het dieet van één persoon de gezondheid van de buurman niet beïnvloeden. Maar in een enkele AI-run verandert het aanpassen van de data voor één deel van de taart de volledige structuur van de taart. De "eenheden" zijn allemaal met elkaar verbonden, dus je kunt het effect van één korrel meel niet isoleren.
Het Goede Nieuws: Je krijgt veel datapunten uit slechts één bakproces, waardoor je statistieken sterk zijn (Statistische Validiteit is goed).

De Belangrijkste Conclusie

De auteurs hebben een matrix (een tabel) gemaakt om onderzoekers te laten zien: "Als je Strategie A kiest, ben je veilig voor Risico X, maar kom je in grote problemen met Risico Y."

Proxy-modellen zijn goed voor het bewijzen van oorzaak en gevolg, maar slecht in het voorspellen wat er gebeurt op een enorme schaal.
Observationele studies zijn goed voor het kijken naar echte wereldgegevens, maar zijn slecht in het bewijzen wat de werkelijke oorzaak van de resultaten was (vanwege verborgen confounders).
Single-run designs zijn goed voor het verzamelen van veel data, maar slecht in het isoleren van specifieke oorzaken omdat alles met elkaar vermengd is.

De Conclusie: Er is geen perfecte, goedkope manier om deze gigantische modellen te testen. Elke afkorting dwingt onderzoekers tot een afweging. Het artikel zegt hen niet om te stoppen met het gebruiken van afkortingen; in plaats daarvan geeft het hen een vocabulaire om te zeggen: "We weten dat onze methode deze specifieke zwakte heeft, en dit is hoe we proberen daarmee om te gaan." Het gaat erom eerlijk te zijn over de beperkingen van het experiment, in plaats van te doen alsoverhaal de afkorting perfect is.

Technische Samenvatting: Validiteitsbedreigingen voor Foundation Model Onderzoek

Probleemstelling

De komst van foundation models heeft de computationele kosten voor het trainen van state-of-the-art machine learning systemen drastisch verhoogd, waarbij vaak tienduizenden GPU's nodig zijn. Bijgevolg is het ideale gecontroleerde experiment — het trainen van meerdere modellen met variërende recepten om causale effecten te isoleren — computationeel onhaalbaar. Om deze kosten te omzeilen, heeft de onderzoekscommunity benaderingsstrategieën geadopteerd, waaronder proxy-experimenten (het gebruik van kleinere modellen of goedkopere behandelingen), observationele studies (het analyseren van publieke meta-data) en single-run designs (het benutten van interne variatie binnen een enkele trainingsrun).

Het centrale probleem dat in dit werk wordt geadresseerd, is dat deze kostenbesparende strategieën validiteitsbedreigingen introduceren: verborgen en soms ontestbare aannames. Wanneer deze aannames worden geschonden, kunnen onderzoeksclaims over modelgedrag, optimale hyperparameters of datacompositie fundamenteel onjuist of onbruikbaar worden. De auteurs stellen dat er "no free lunch" is bij het benaderen van grootschalige experimenten; besparingen in rekenkracht gaan onvermijdelijk ten koste van validiteit.

Methodologie

Het artikel stelt een evaluatiekader voor dat foundation model onderzoek formaliseert als een causaal inferentieprobleem. Het doel is om het "ideale experiment" te benaderen dat het recept-specifieke behandelingseffect identificeert, gedefinieerd als:
$\tau(a, y; \psi) = E[y(a) | \psi] - E[y(\emptyset) | \psi]$
waarbij $\psi$ het trainingsrecept is, $a$ een behandeling (wijziging aan het recept) en $y$ de uitkomst.

Het kader deelt de analyse op in twee lagen:

Onderzoeksstrategieën: De auteurs categoriseren huidige praktijken in drie primaire strategieën:
- De Proxy-benadering: Experimenten uitvoeren op goedkopere proxies (kleinere modellen, proxy-behandelingen zoals fine-tuning in plaats van pre-training, of proxy-uitkomsten zoals validatieverlies) en extrapoleren naar de doelschaal.
- De Observationele Benadering: Meta-data van bestaande publieke modellen analyseren om relaties tussen trainingskeuzes en uitkomsten af te leiden zonder nieuwe trainingsruns.
- De Single-Run Benadering: Meerdere experimenten emuleren binnen een enkele trainingsrun door datapunten of subwoorden als onafhankelijke eenheden te behandelen of theoretische controles te gebruiken (bijv. invloedsfuncties, canary data).
Validiteitstypen: Door een taxonomie uit de empirische sociale wetenschappen aan te passen, evalueert het kader strategieën via vier lenzen:
- Statistische Validiteit: Betrouwbaarheid van schattingen gegeven eindige, ruisige steekproeven.
- Interne Validiteit: Of een schatting een echt causaal effect reflecteert in plaats van louter associatie.
- Externe Validiteit: Of bevindingen generaliseren van de proxy of steekproef naar het doel-trainingsrecept (bijv. over schalen of modelfamilies heen).
- Constructvaliditeit: Of de operationalisering van behandeling en uitkomst accuraat reflecteert wat de beoogde onderzoeksvraag is.

Belangrijkste Bijdragen en Resultaten

1. Karakterisering van Validiteitsprofielen

Het artikel synthetiseert de validiteitsbedreigingen die inherent zijn aan elke strategie in een "validiteitsprofiel", waarbij bedreigingen worden geclassificeerd als "niet bijzonder getroffen", "vereist zorgvuldige overweging" of "kernbedreiging".

Proxy Modellen:
- Sterktes: Preserveren over het algemeen statistische en interne validiteit (indien gecontroleerde experimenten worden gebruikt) en constructvaliditeit (indien de oorspronkelijke behandeling/uitkomst wordt gebruikt).
- Kernbedreiging: Externe Validiteit. De aanname dat behandelingseffecten voorspelbaar schalen (bijv. via scaling laws) is vaak ongetest. Voorspelbaarheid valt uiteen over verschillende trainingsrecepten of wanneer emergent gedrag optreedt.
Proxy Behandelingen en Uitkomsten:
- Sterktes: Bedreigen de statistische, interne of externe validiteit met betrekking tot het doelmodel niet inherent.
- Kernbedreiging: Constructvaliditeit. Het vervangen van de behandeling (bijv. fine-tuning in plaats van pre-training) of de uitkomst (bijv. benchmark-subsets) verandert de causale estimand fundamenteel. Bijvoorbeeld: proxy-behandelingen via fine-tuning kunnen privacy-lekken overschatten vanwege andere memorisatie-dynamiek vergeleken met single-epoch pre-training.
Observationele Benadering:
- Sterktes: Behoudt bewijs op de doelschaal en kan een hoge statistische validiteit bieden door data over families heen te poolen.
- Kernbedreiging: Interne Validiteit. De benadering rust op de ontestbare aanname van exchangeability (geen confounding). Confounders zoals "kalendertijd" (waarbij nieuwere modellen profiteren van zowel architecturale vooruitgang als gecureerde datamixen) kunnen spuriële associaties induceren. Daarnaast wordt de Externe Validiteit bedreigd door effect-heterogeniteit tussen modelfamilies; het poolen van data middelt deze verschillen uit, wat recept-specifieke effecten kan maskeren.
Single-Run Benadering:
- Sterktes: Kan fijnmazige inzichten bieden en de statistische validiteit handhaven met grote populaties binnen één run.
- Kernbedreiging: Interne Validiteit door interferentie. De aanname dat het behandelen van één eenheid (bijv. een datapunt) andere eenheden niet beïnvloedt, staat onder druk omdat alle eenheden dezelfde modelparameters delen; trainen op punt $i$ actualiseert de parameters die gebruikt worden voor punt $j$ . Daarnaast wordt de Externe Validiteit over eenheden heen bedreigd als effecten heterogeen zijn.

2. Identificatie van Onderbelichte Bedreigingen

De analyse onthult specifieke validiteitsbedreigingen die onvoldoende aandacht hebben gekregen in de literatuur:

De schending van exchangeability in observationele studies door confounding door kalendertijd en datacompositie.
De interferentie tussen eenheden in single-run designs, wat de Stable Unit Treatment Value Assumption (SUTVA) schendt.
De fundamentele verschuiving in constructvaliditeit wanneer proxy-behandelingen (zoals multi-epoch fine-tuning) worden gebruikt om pre-training dynamiek te benaderen.

3. Praktische Toolkit

Het artikel biedt een matrix (Tabel 1) die dient als een praktische toolkit voor onderzoekers en reviewers. Het stelt hen in staat om:

Expliciet te identificeren welke validiteitstypen in gevaar zijn voor een gegeven design.
Verborgen aannames expliciet te maken.
De trade-offs te begrijpen die vereist zijn bij het combineren van strategieën (bijv. een observationele studie die een proxy-behandeling gebruikt, cumuleert validiteitsbedreigingen).

Betekenis en Claims

De auteurs beweren dat hun kader een gemeenschappelijke taal biedt voor het bespreken van validiteit in foundation model onderzoek, waarmee de kloof tussen causale inferentietheorie en empirische machine learning praktijk wordt overbrugd.

Voor Auteurs: Het kader biedt een vocabulaire om noodzakelijke trade-offs te verdedigen en verborgen aannames expliciet te maken, zodat claims in lijn blijven met de actieve validiteitsbedreigingen van het gekozen design.
Voor Reviewers: Het biedt een gestructureerde basis om te beoordelen of de conclusies van een paper worden ondersteund door de onderliggende methodologie, met name wanneer meerdere benaderingsstrategieën worden gecombineerd.
Voor het Gebied: Het artikel betoogt dat hoewel het ideale experiment vaak onhaalbaar is, onderzoekers zich ervan bewust moeten zijn dat "besparingen in rekenkracht komen met de kosten van validiteitsbedreigingen". Het kader stelt geen enkele oplossing voor om deze bedreigingen te elimineren, maar is eerder een systematische methode om ze te onderzoeken, waarbij gesuggereerd wordt dat robuuste conclusies het volgen van meerdere strategieën parallel of het vertrouwen op geaccumuleerde wetenschappelijke kennis over de betrouwbaarheid van specifieke bedreigingen kunnen vereisen.

Het werk benadrukt dat validiteit geen binaire eigenschap is, maar een spectrum van risico's die beheerd moeten worden door middel van zorgvuldig ontwerp en expliciete erkenning van aannames.