Technische Samenvatting: In-Context Multiple Instance Learning (ICMIL)

Probleemstelling

Multiple Instance Learning (MIL) adresseert scenario's waarin supervisie alleen beschikbaar is op het niveau van "bags" (collecties van instanties) in plaats van individuele instanties. Hoewel succesvol in velden zoals computationele pathologie en satellietbeelden, worstelen bestaande MIL-algoritmen met het low-label regime, waarbij real-world datasets vaak slechts enkele tientallen gelabelde bags bevatten.

Huidige benaderingen kampen met een fundamentele afruil:

• Flexibele modellen (bijv. attention-gebaseerde MIL, TransMIL) hebben de neiging tot overfitting wanneer ze getraind worden op schaarse data.
• Rigide modellen (bijv. mean/max pooling) coderen sterke inductieve biases die mogelijk niet overeenkomen met de specifieke taak.
• Pretraining-methoden vereisen grote, taak-relevante broncorpora, die vaak niet beschikbaar zijn.
• Zelfgesuperviseerde methoden comprimeren informatie van instanties naar vaste representaties zonder downstream taak-kennis, wat potentieel kritieke kenmerken wegwerpt.

Consequent is er geen bestaande methode die het mogelijk maakt om te leren van een klein aantal gelabelde bags tijdens de inferentie, zonder dat daarvoor een groot pretraining-corpus of taakspecifieke gradiënt-updates nodig zijn.

Methodologie

Kernconcept: In-Context Multiple Instance Learning (ICMIS)

De auteurs stellen ICMIL voor, een framework gebaseerd op het Prior-data Fitted Network (PFN) paradigma. In plaats van een model te trainen om een specifieke dataset te fitten, wordt ICMIL geprepareerd op diverse synthetische bag-gestructureerde data om de posterior predictive distributie over bag-labels te benaderen.

Tijdens de inferentie ontvangt het model een echte MIL-dataset (gelabelde context-bags en een ongelabelde query-bag) als input en classificeert het de query in een enkele forward pass zonder gradiënt-updates of hyperparameter-tuning. Het model leert effectief "hoe plausibele bag-classifiers eruitzien" over gesimuleerde taken, waardoor het in staat is de labelingsregel voor ongeziene bags te extraheren.

Architecturale Ontwerp

Om PFN's aan te passen aan hiërarchische set-inputs (bags van instanties), adresseren de auteurs drie specifieke uitdagingen met behulp van een Perceiver-stijl architectuur:

1. Computationele Schaalbaarheid: Naïve attention over alle instanties over alle bags schaalt kwadratisch ($O(N^2I^2)$). De voorgestelde architectuur gebruikt leerbare bag-tokens die iteratief informatie verzamelen van hun instanties en deze uitwisselen met andere bags. Dit reduceert de complexiteit door de aggregatie van instanties onafhankelijk per bag te verwerken vóór de inter-bag attention.
2. Taakafhankelijke Instantie-compressie: Standaard compressie vindt plaats voordat het model de labels ziet. ICMIL gebruikt een iteratief attention-mechanisme waarbij bag-tokens afwisselend aandacht schenken aan hun eigen instanties en aan de aandacht tussen bags en labels. Dit stelt het model in staat om te beslissen welke kenmerken op instantieniveau behouden moeten blijven op basis van de taakspecifieke informatie die in de context beschikbaar is.
3. Permutatie-invariantie versus Bag-identiteit: De architectuur maakt gebruik van Multi-Head Attention (MHA), wat inherent permutatie-invariant is over de instantie-inputs, terwijl de bag-identiteit behouden blijft door middel van onderscheidende bag-tokens en inter-bag attention.

Synthetische Priors

De effectiviteit van ICMIL rust op de uitlijning tussen de trainingsprior en real-world taken. De auteurs ontwerpen twee families van synthetische data-generatoren:

• Factorized Priors: Deze volgen de klassieke MIL-aanname dat bag-labels worden bepaald door een permutatie-invariante functie van instanties ($y = g(\phi(\{f(x_i)\}))$). Ze genereren instanties onafhankelijk en aggregeren deze via discrete of continue samenvattingen.
• Joint Priors: Deze laten de decompositie-aanname vallen en definiëren een enkele functie over de geflatteerde bag ($y = f_S(x_1, ..., x_I)$). Dit maakt rijkere inter-instantie correlaties binnen een bag mogelijk die factorized priors niet kunnen uitdrukken.

De auteurs onderzoeken of structurele uitlijning (Factorized) of expressiviteit (Joint) betere prestaties oplevert en of een mengeling van priors een robuuste generalist creëert.

Belangrijkste Bijdragen

1. ICMIL Framework: Introductie van een in-context learning benadering voor MIL die nieuwe taken oplost vanuit een handvol gelabelde bags zonder gradiënt-updates.
2. Perceiver-Stijl Architectuur: Een nieuwe architectuur voor hiërarchische set-inputs die uitdagingen rondom schaalbaarheid, taakafhankelijke compressie en permutatie-invariantie oplost.
3. Synthetische Prior Analyse: Identificatie dat Factorized en Joint priors complementaire inductieve biases vastleggen. Factorized priors excelleren bij ongecorreleerde "witness" taken, terwijl Joint priors beter presteren bij taken met binnen-bag correlaties en interacties.
4. Robuuste Generalist Model: Demonstratie dat een model getraind op een mengeling van deze priors de beste gemiddelde prestaties bereikt over alle benchmarks, waarbij het de sterktes van beide families overneemt.

Experimentele Resultaten

De auteurs evalueerden ICMIL op 12 MIL-benchmarks (waaronder Musk1/2, HEPMASS, TCGA, en RSNA-ICH) in een low-label regime (gesubsampleerd naar ~100 bags).

• Prestaties: Het ICML-model (getraind op een mix van priors met geschaalde capaciteit) behaalde de hoogste gemiddelde AUROC (84.17) en de beste gemiddelde rang (4.08) over alle benchmarks.
• Vergelijking met Baselines: ICMIL presteerde beter dan supervised baselines (MeanLogReg, SVM-Summ, ABMIL) en platte TabPFN-varianten.
  • Supervised baselines zoals ABMIL vertoonden een hoge variantie en instabiliteit door de moeilijkheid van hyperparameter-tuning op kleine datasets.
  • Platte TabPFN-baselines (waarbij bags werden platgeslagen naar vectoren) presteerden ondermaats, wat suggereert dat bag-bewuste architecturen noodzakelijk zijn om structurele informatie te exploiteren.
• Efficiëntie: In tegen tegenstelling tot supervised methoden die cross-validatie en hertraining voor elk dataset vereisen, classificeert ICMIL alle query-bags in een enkele forward pass. De rekentijd is competitief met eenvoudige lineaire en kernel baselines, waarbij het de computationele overhead van de per-split refitting van ABMIL vermijdt.
• Variantie: ICMIL vertoonde een lagere variantie over geresamplede trainingssets vergeleken met supervised baselines, wat wijst op een gunstigere bias-variance afruil.

Betekenis en Claims

Het artikel claimt dat ICMIL erin slaagt de kloof in het leren van schaarse gelabelde bags te dichten door het probleem te verschuiven van het fitten van een aggregator op beperkte data naar het ontwerpen van goede data-generatoren (priors) die de relevante hypothese-ruimte beslaan.

Belangrijke claims zijn onder meer:

• Zero-Shot Adaptatie: Het model generaliseert over taken en applicatiedomeinen zonder finetuning of taakspecifieke trainingsdata.
• Bias-Variance Afruil: Door een benadering van Bayesian model averaging te gebruiken over hypothesen die consistent zijn met de gelabelde context, vermijdt ICMIL de variantie die gepaard gaat met het fitten van een enkele aggregator op schaarse labels.
• Complementaire Priors: De studie benadrukt dat geen enkele prior domineert; het combineren van structureel uitgelijnde (Factorized) en expressieve (Joint) priors levert een robuuste generalist op die in staat is om diverse MIL-regimes aan te kunnen.

De auteurs erkennen beperkingen, zoals de huidige trainingscurriculum die gebruik maakt van kleine bag-groottes (tot 20 instanties) en binaire classificatie met gereduceerde feature-dimensies. Zij suggereren dat toekomstig werk rijkere priors kan verkennen die zijn uitgelijnd met specifieke domeinen (bijv. ruimtelijke priors voor pathologie) en post-training op real-world corpora om de synthese-naar-real wereld kloof verder te overbruggen.