📊 statistics

Distributional Extrapolation for Interactions

Dit artikel introduceert DExtrI, een methode met theoretische garanties voor het voorspellen van combinatorische interactie-effecten in scenario's waar de trainingsdata slechts enkelvoudig actieve covariaten bevat, wat succesvolle generalisatie naar ongeziene multi-covariaatcombinaties mogelijk maakt in toepassingen zoals drug discovery en hyperparameteroptimalisatie.

Oorspronkelijke auteurs: Marin Šola, Xinwei Shen, Peter Bühlmann

Gepubliceerd 2026-08-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marin Šola, Xinwei Shen, Peter Bühlmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In veel wetenschappelijke en technische disciplines worden onderzoekers geconfronteerd met een hardnekkige beperking: ze kunnen gemakkelijk meten hoe een systeem reageert op een enkele verandering, maar ze kunnen het zich niet veroorloven om elke mogelijke combinatie van veranderingen te testen. Stel je een farmaceutisch bedrijf voor dat probeert de meest effectieve medicijncocktail te vinden. Het testen van elke mogelijke mix van tientallen verbindingen op menselijke cellen zou jaren duren en miljarden kosten. In plaats daarvan testen wetenschappers vaak elk medicijn alleen, één voor één, om te zien hoe het de cellen beïft. Dit creëert een dataset die rijk is aan informatie over individuele ingrediënten, maar volledig zwijgt over hoe die ingrediënten samenwerken wanneer ze gemengd worden. De centrale uitdaging is om het gedrag van het hele mengsel te voorspellen op basis van enkel het gedrag van de geïsoleerde delen. Dit is niet slechts een kwestie van gokken; het is een wiskundige puzzel waarbij het antwoord ligt in de verborgen structuur van hoe variabelen combineren. Als de relatie tussen de delen en het geheel specifieke regels volgt, zou het mogelijk zijn om de ongeziene combinaties te reconstrueren op basis van de bekende enkelvoudige variabelen.

Een team van onderzoekers van ETH Zürich en de University of Washington heeft een nieuwe methode ontwikkeld genaamd DExtrI om exact dit probleem op te lossen. Hun werk richt zich op een scenario waarbij de trainingsdata uitsluitend bestaat uit "as-georiënteerde" (axis-aligned) monsters — metingen waarbij slechts één variabele tegelijk actief is, terwijl de testdata meerdere variabelen bevat die gelijktijdig in werking zijn. In de echte wereld weerspiegelt dit het proces van medicijnontdekking, waarbij reacties op enkelvoudige medicijnen overvloedig aanwezig zijn, maar gegevens over combinaties schaars zijn. De onderzoekers ontdekten dat door de uitkomst niet te modelleren als een simpel gemiddelde van delen, maar als een complexe interactie waarbij een verborgen ruisfactor in de vergelijking wordt ingevoerd vóór de uiteindelijke berekening, zij wiskundig konden bewijzen dat het gehele systeem herstelbaar is. Ze toonden aan dat als de onderliggende regels van het systeem stabiel zijn en bepaalde structurele patronen volgen, de conditionele distributie van de uitkomst voor elke nieuwe combinatie uniek bepaald kan worden uit de enkelvoudige variabele data. Dit betekent dat het model plausibele voorspellingen kan genereren voor medicijncombinaties die het nog nooit eerder heeft gezien, waardoor de hiaten in de experimentele kaart effectief worden opgevuld.

De methode werkt door de uitkomst te behandelen als een som van individuele effecten plus een reeks interactietermen. Cruciaal is dat deze interactietermen niet simpelweg aan het einde worden toegevoegd; de ruis of willekeur van het systeem wordt in het argument van de interactiefunctie geïnjecteerd voordat deze wordt berekend. Deze subtiele verschuiving stelt het model in staat om de interactie-effecten te "zien", zelfs wanneer de data slechts één veranderende variabele laat zien. De onderzoekers bewezen dat onder specifieke condities — zoals wanneer de interactiefuncties niet-polynoom zijn en de ruis het systeem op een strikt monotone manier beïnvloedt — de richting en vorm van deze interacties met zekerheid geïdentificeerd kunnen worden. Ze toonden aan dat zodra deze componenten zijn geleerd uit de enkelvoudige variabele data, het model kan extrapoleren naar elke combinatie van die variabelen, zelfs combinaties die ver buiten het bereik van de oorspronkelijke trainingsdata liggen.

Om hun theorie te testen, paste het team DExtrI toe op real-world datasets, waaronder grootschalige schermen van medicijncombinaties en taken voor hyperparameteroptimalisatie van machine learning-modellen. In de experimenten met medicijnontdekking gebruikten ze data van duizenden enkelvoudige medicijntesten om de levensvatbaarheid van cellen onder complexe medicijncocktails te voorspellen. De resultaten lieten zien dat DExtrI consequent beter presteerde dan standaard machine learning-modellen, die doorgaans falen wanneer ze gevraagd worden de uitkomsten voor combinaties te voorspellen die ze nog nooit eerder zijn tegengekomen. Zo behaalde de nieuwe methode op een dataset met 38 verschillende medicijnen en 39 kanker-cellijnen aanzienlijk lagere voorspellingsfouten dan traditionele benaderingen. Op dezelfde manier, in de wereld van kunstmatige intelligentie, waar het gelijktijdig afstemmen van meerdere instellingen kostbaar is, voorspelde de methode succesvol de prestaties van complexe configuraties op basis van data waarbij slechts één instelling tegelijk werd gewijzigd.

De studie verkende ook scenario's waarbij de data niet perfect as-georiënteerd was, maar er wel dicht bij lag, zoals het voorspellen van de vraag naar deelfietsen op basis van weer- en tijdsvariabelen. Zelfs in deze "bij benadering as-georiënteerde" scenario's hield de methode stand en bood vaak nauwkeurigere voorspellingen dan gevestigde baselines. De onderzoekers merkten op dat de aanpak bijzonder robuust is in situaties met weinig data, waar traditionele modellen de neiging hebben tot overfitting of falen in generalisatie. Door te vertrouwen op een distributieve verliesfunctie die de volledige vorm van de voorspelde uitkomst matcht in plaats van alleen de gemiddelde waarde, legt de methode de volledige onzekerheid van het systeem vast. Dit stelt het model in staat om niet alleen een enkel punt-schatting te genereren, maar een volledig spectrum van mogelijke uitkomsten, wat essentieel is voor risicobeoordeling in velden zoals de geneeskunde.

Ho แมewel de methode veelbelovend is, benadrukken de auteurs voorzichtig de grenzen ervan. De wiskundige garanties rusten op de aanname dat het onderliggende systeem specifieke structurele regels volgt, zoals het feit dat de interactiefuncties niet-polynoom zijn en de ruis onbegrensd is. Als deze condities worden geschonden, is de unieke identificatie van de interacties mogelijk niet gegarandeerd. Echter, in de synthetische experimenten die ontworpen waren om deze grenzen te testen, slaagde de methode er consistent in om de ware interactiepatronen te herstellen waar andere modellen faalden. Het werk suggereert dat "one-factor-at-a-time" experimenten, die vaak worden afgedaan als onvoldoende voor het begrijpen van complexe systemen, in werkelijkheid veel meer informatie over interacties bevatten dan voorheen werd aangenomen. Door deze verborgen informatie te ontsluiten, biedt DExtrI een krachtig instrument voor wetenschappers die de enorme ruimte van mogelijkheden moeten navigeren zonder de luxe om elke optie te testen.

Technische Samenvatting: Distributional Extrapolation for Interactions (DExtrI)

1. Probleemdefinitie

Het artikel behandelt de uitdaging van combinatorische extrapolatie: het voorspellen van uitkomsten voor combinaties van covariaten die tijdens de training nooit gezamenlijk zijn waargenomen. Specifiek richten de auteurs zich op een setting waarin de trainingsdata as-georiënteerd is, wat betekent dat elke steekproef slechts één actieve covariaat bevat (bijv. reacties op enkelvoudige medicijnen in de farmacologie of enkelvoudige gen-perturbaties in de genomica), terwijl de test-inputs meerdere gelijktijdige actieve covariaten bevatten (bijv. medicijncombinaties of gezamenlijke hyperparameterconfiguraties).

Standaard machine learning-modellen, inclusief neurale netwerken en empirical risk minimization (ERM), falen vaak in dit regime omdat ze moeite hebben met het generaliseren buiten de convexe hull van de trainingsdistributie. De auteurs merken op dat het verwerven van volledig combinatorische data vaak evenredig duur is, wat methoden noodzakelijk maakt die interactie-effecten kunnen afleiden uit marginale, as-georiënteerde observaties.

2. Methodologie: Het DExtrI-framework

De auteurs stellen DExtrI (Distributional Extrapolation for Interactions) voor, een generatief regressiekader dat de respons variabele $Y$ modelleert als een som van additieve componenten en interactietermen met een specifieke ruisstructuur.

2.1 Modelstructuur

Het model wordt gedefinieerd als:
$Y = \sum_{j=1}^p f_j(X_j) + \sum_{k=1}^K g_k(\beta_k^\top X + h_k(\varepsilon))$
waarbij:

$f_j$ univariate additieve functies zijn voor individuele covariaten.
$g_k$ niet-lineaire ridge-functies zijn die interacties representeren.
$\beta_k$ coëfficiëntvectoren zijn die de interactierichtingen definiëren.
$h_k(\varepsilon)$ een pre-additieve ruis term is, waarbij $\varepsilon \sim \mathcal{N}(0, 1)$ een gedeelde latente ruisvariabele is.

2.2 Kernmechanisme: Pre-additieve Ruis

De kerninnovatie is het gebruik van pre-additieve ruis (ruis toegevoegd binnen het argument van de interactiefunctie $g_k$ ) in plaats van de standaard post-additieve ruis.

Generatieve Interpretatie: Het model specificeert de volledige conditionele distributie $Y|X=x$ als een deterministische transformatie van een laag-dimensionale latente ruisvariabele $\varepsilon$ .
Extrapolatie-logica: Omdat $h_k(\varepsilon)$ een volledig ondersteuning heeft op $\mathbb{R}$ , beslaat het argument $\beta_k^\top X + h_k(\varepsilon)$ de gehele $\mathbb{R}$ zelfs wanneer $X$ beperkt is tot as-georiënteerde ondersteuningen. Dit stelt het model in staat om het gedrag van de interactiefunctie $g_k$ over zijn gehele domein te "zien" door de variatie in $\varepsilon$ , zelfs als de trainingsdata slechts specifieke marginale sneden van $X$ dekt.

2.3 Schatting

DExtrI schat de modelcomponenten door de Energy Score te minimaliseren, een strikt passende scoring rule voor waarschijnlijkheidsdistributies.

Doelstelling: Minimaliseer de verwachte energy score tussen de geobserveerde conditionele distributie en de gegenereerde distributie van het model.
Implementatie: De componenten $f_j, g_k, h_k$ worden geparametriseerd met behulp van neurale netwerken. De optimalisatie gebruikt het Adam-algoritme.
Voordeel: In tegenstelling tot ERM, dat puntwijze kwadratische fout minimaliseert, matcht de energy score distributies via paarwijze afstanden, wat de auteurs naar verluidt robuuster maakt in situaties met kleine steekproeven en cruciaal is voor het identificeren van de structurele componenten vanuit as-georiënteerde data.

3. Theoretische Bijdragen

Het artikel vestigt rigoureuze theoretische garanties met betrekking tot de identificeerbaarheid en extrapoleerbaarheid van het model.

3.1 Identificeerbaarheid

De auteurs bewijzen dat onder specifieke structurele aannames (bijv. $g_k$ zijn niet-polynomiale exponentiële polynomen, $h_k$ zijn strikt monotoon met onderscheidende asymptotische groeivoorders, en interactie-ondersteuningen zijn onderscheidend), het model identificeerbaar is vanuit as-georiënteerde data.

Resultaat: Als twee parametrisaties dezelfde conditionele distributie induceren op de as-georiënteerde trainingsondersteuning, moeten ze equivalent zijn tot triviale onbepaaldheden (schaling van $\beta_k$ en $h_k$ , en additieve constanten).
Significantie: Dit is een niet-triviaal resultaat omdat de trainingsondersteuning een lege binnenkant heeft (het ligt alleen op de assen), wat het gebruik van standaard gemengde afgeleiden verhindert om interactierichtingen te identificeren. De pre-additieve ruis en monotonie-aannames zijn getoond noodzakelijk te zijn om de ridge-richtingen en profielen te ontwarren.

3.2 Extrapoleerbaarheid

Gebaseerd op de identificeerbaarheidsresultaten, bewijst het artikel dat het geleerde model deterministisch kan extrapoleren naar het Cartesisch product van de marginale ondersteuningen ( $X_{test}$ ).

Stelling: Als het model identificeerbaar is, komt de geleerde functie $\tilde{T}$ overeen met de ware functie $T$ op de gehele test-ondersteuning $X_{test}$ (en daarbuiten), niet alleen in distributie maar ook puntwijze voor vaste ruisrealisaties.
Implicatie: De methode kan het volledige respons-oppervlak herstellen voor ongeziene combinaties van covariaten, mits de testpunten binnen het product van de geobserveerde marginale bereiken liggen.

4. Empirische Resultaten

De auteurs evalueren DExtrI op synthetische en real-world datasets, waarbij ze het vergelijken met Neural Additive Models (NAM), standaard ERM (MLP) en Engression (een gerelateerde distributieve regressiemethode).

4.1 Synthetische Benchmarks

In hoog-dimensionale synthetische settings ( $p=40$ ) met bekende grondwaarheid, bereikt DExtrI consistent een aanzienlijk lagere test Mean Squared Error (MSE) dan de baselines, vaak met ordes van grootte. Baselines falen in het herstellen van interactie-effecten uit marginale data, terwijl DExtrI succesvol extrapoleert naar het binnenste van de inputruimte.

4.2 Real-World Applicaties

Drug Combination Screens (O'Neil en ALMANAC datasets): De methode voorspelt de levensvatbaarheid van cellijnen onder medicijncombinaties met behruik van enkelvoudige medicijn-trainingsdata. DExtrI presteert beter dan baselines op de O'Neil-dataset en presteert competitief op ALMANAC, wat de bruikbaarheid aantoont voor het voorspellen van ongeteste medicijncombinaties.
Hyperparameter Optimalisatie (HPOBench): De methode voorspelt validatiefoutpercentages voor MLP-configuraties op basis van marginale sweeps van individuele hyperparameters. DExtrI bereikt de laagste test MSE op 7 van de 8 taken, wat een superieur vermogen toont om gezamenlijke hyperparameter-interacties te modelleren.
Benaderend As-Georiënteerde Data: De methode wordt ook getest op datasets waar covariaten niet strikt as-georiënteerd zijn maar geconcentreerd zijn nabij de assen (bijv. Seoul Bike Sharing, Gas Turbine). DExtrI behoudt een robuuste prestatie en presteert vaak beter dan ERM en NAM.

5. Significantie en Claims

Het artikel claimt dat DExtrI combinatorische extrapolatie mogelijk maakt als een identificeerbaar statistisch probleem in plaats van enkel een voorspellingsuitdaging.

Informatiegehalte: Een belangrijke implicatie is dat "one-factor-at-a-time" (as-georiënteerde) experimenten substantieel meer informatie bevatten over interacties dan algemeen wordt aangenomen, mits de juiste structurele aannames en distributieve modellering worden toegepast.
Praktische Impact: De methode biedt een pad om de kosten van uitputtende combinatorische experimentatie te verminderen in domeinen zoals drug discovery en hyperparameter tuning.
Beperkingen: De auteurs erkennen dat de methode rust op specifieke structurele aannames (bijv. niet-polynomiale profielen, onderscheidende groeivoorders van warps). Ze merken op dat als deze aannames worden geschonden (bijv. polynomiale profielen zonder aanvullende restricties), identificeerbaarheid kan falen. Het artikel claimt niet de oplossing te zijn voor extrapolatie voor willekeurige distributies of ondersteuningen buiten het Cartesisch product van de marginalen.

Samenvattend biedt DExtrI een theoretisch gefundeerd kader dat gebruikmaakt van distributieve regressie en pre-additieve ruis om interactie-effecten te herstellen uit beperkte, as-georiënteerde data, en generaliseert succesvol naar ongeziene combinaties van covariaten in zowel synthetische als real-world scenario's.