Technische Samenvatting: Zero-Shot Actieve Feature Acquisitie via LLM-Elicitatie

1. Probleemdefinitie

Het artikel behandelt Active Feature Acquisition (AFA), een sequentieel beslissingsproces waarbij een agent moet selecteren welke kenmerken (features) geobserveerd moeten worden onder een beperkt budget om tot een classificatie- of rangschikkingsbeslissing te komen. De centrale flessenhals in bestaande AFA-methoden is hun afhankelijkheid van grote, gelabelde datasets om probabilistische modellen te trainen die het acquisitieproces sturen. Deze vereiste faalt in regimes waar AFA het meest waardevol is: zeldzame ziekten, nieuw gekarakteriseerde condities of atypische patiëntgevallen waar gelabelde data schaars of niet-existent is.

De auteurs stellen Zero-Shot AFA voor, een framework dat opereert zonder taakspecifieke gelabelde data. Ze maken gebruik van Large Language Models (LLMs) als een bron van ongesuperviseerde domeinkennis om de noodzakelijke probabilistische modellen te construeren. Echter, het artikel identificeert twee fundamentele obstakels bij het direct gebruiken van LLMs voor AFA:

1. Planning Deficiëntie: LLMs zijn slechte sequentiële planners. Ze hebben de neiging om heuristisch patronen te herkennen in plaats van te redeneren over de cascade-effecten en niet-lokale implicaties van feature-correlaties die vereist zijn voor een optimale ordening.
2. Kalibratieproblemen: LLMs zijn slecht gekalibreerd als formele probabilistische objecten, waardoor ze onbetrouwbaar zijn voor de white-box modellering (conditionering, marginalisering, optimalisatie) die vereist is door AFA.

Het doel is om deze kloof te overbruggen door rollen strikt te scheiden: de LLM levert kennis (elicitatie), terwijl een klassiek algoritme de sequentiële planning afhandelt.

2. Methodologie

2.1 Discriminatieve MRF Elicitatie

In plaats van de LLM te vragen om volledige klasse-conditionele distributies $p(x|H)$ en $p(x|\neg H)$ te genereren, wat gevoelig is voor fouten en ambiguïteit, extraheert het framework alleen discriminatieve statistieken die voldoende zijn voor een Markov Random Field (MRF). Specifiek wordt de LLM bevraagd over:

• Unary deviaties: Hoe een feature $j$ afwijkt onder hypothese $H=1$ ten opzichte van $H=0$ ($\Delta \alpha_j = \alpha_{j,1} - \alpha_{j,0}$).
• Pairwise co-variaties: Hoe features $j$ en $l$ differentieel co-variëren onder de twee hypothesen ($\Delta \psi_{jl} = \psi_{jl,1} - \psi_{jl,0}$).

Deze parameters definiëren een discriminatieve MRF waarbij de score voor een entiteit $v$ de log-ratio is:
$$S_v(x) = \sum \Delta \alpha_j x_j + \sum \Delta \psi_{jl} x_j x_l$$
Deze aanpak vermijdt de noodzaak om absolute klassendistributies te modelleren, wat aansluit bij het discriminatieve karakter van de medische literatuur.

2.2 Het Oplossen van Gauge Ambiguïteit (Binair Geval)

Een cruciale methodologische uitdaging ontstaat in de binaire classificatiesetting: de geëliticeerde log-ratio $S_v$ fixeert de ratio $p_1/p_0$, maar laat de "gauge" (de absolute schaal van $p_0$ en $p_1$) ongedefinieerd. Klassieke AFA-criteria (zoals Conditional Mutual Information) vereisen per klasse voorspellende distributies, die niet berekend kunnen worden uit de ratio alleen.

De auteurs lossen dit op via een Maximum-Entropy (MaxEnt) closure. Onder alle paren $(p_0, p_1)$ die consistent zijn met de geëliticeerde log-ratio, selecteert het framework het paar dat de som van de entropieën $H(p_0) + H(p_1)$ maximaliseert. Dit levert een principieel, uniek reconstructie van de klasse-conditionals op:
$$p_e(x) \propto \exp\left( (-1)^{e-1} S_v(x) / 2 \right), \quad e \in \{0, 1\}$$
Deze closure maakt de toepassing van standaard informatie-theoretische acquisitie-criteria mogelijk in de zero-shot setting.

2.3 Acquisitie Policies

Het framework opereert op twee settings: Binaire Classificatie en Top-k Identificatie (het selecteren van de $k$ meest ondersteunde hypothesen uit $N$ kandidaten).

• Preference Scores: Om te beslissen tussen hypothesen (of entiteiten), gebruikt het framework "dueling" scores.
  • Wald Accumulator: Een gauge-vrije, deterministische som van geobserveerde feature-energieën. Het negeert niet-geobserveerde features, maar is exact bij volledige observatie.
  • Mean-Field Scores (Chernoff-Wald / Sign-Vote): Deze integreren over niet-geobserveerde features met behulp van de gereconstrueerde klasse-conditionals (via MaxEnt voor binair, directe elicitatie voor top-k). Ze maken gebruik van de Verwachte KL-divergentie of Sign-Vote (stack-A) om features te scoren, wat een "zachte" voorspelling biedt die rekening houdt met de niet-geobserveerde subgraph.
• Feature Selectie: Het framework evalueert features op basis van Conditional Mutual Information (CMI) of een nieuwe F-target gain (verwachte verbetering in de preference score).
• Top-k Allocatie: Voor het rangschikken van $N$ entiteiten introduceert de auteur een Priority-Weighted Allocation regel. In plaats van alle $\binom{N}{2}$ paren te evalueren, worden entiteiten geclusterd in de MRF-parameterruimte. Het budget wordt gealloceerd aan "duels" (pairwise vergelijkingen) die:
  1. Nabij de top-$k$ frontier liggen (hoge invloed op de uiteindelijke rangschikking).
  2. Nog niet beslist zijn (onzekere winnaar).
     Dit reduceert de combinatorische ruimte van $O(N^2)$ naar $O(K)$, waarbij $K$ het aantal clusters is.

3. Belangrijkste Bijdragen

1. Eerste Zero-Shot AFA Framework: Het artikel presenteert de eerste methode voor actieve feature acquisitie die geen taakspecifieke gelabelde data, RL-episodes of meta-training vereist, en vertrouwt volledig op LLM-geëliticeerde kennis.
2. Discriminatieve Elicitatie & MaxEnt Closure: Een nieuw protocol voor het extraheren van enkel voldoende statistieken uit LLMs en een principiële MaxEnt closure om de resulterende gauge ambiguïteit op te lossen, wat het gebruik van klassieke AFA-criteria mogelijk maakt.
3. Dual-Track Planning voor Chaotische Casussen: Het framework gebruikt zowel een deterministisch (Wald) als een probabilistisch (Mean-Field) scoring-track. De auteurs demonstreren dat voor "chaotische" patiënten (waar vroege observaties lokaal inconsistent zijn met het latente label), de Mean-Field track, verankerd door de geëliticeerde MRF-structuur, de Wald-accumulator aanzienlijk verslaat.
4. Priority-Weighted Top-k Policy: Een nieuwe allocatiestrategie voor top-k identificatie die entiteiten clustert en het budget prioriteert naar grensgevallen (boundary pairs), wat de rangschikkingsnauwkeurigheid aanzienlijk verbetert ten opzichte van greedy of random baselines.
5. Kwantificering van de Knowledge-Planning Gap: Door een formele planner die gebruik maakt van LLM-afgeleide modellen te vergelijken met een in-context LLM planner die dezelfde modellen krijgt, isoleert de studie het "planning" tekort. Het formele algoritme bereikt dezelfde nauwkeurigheid met veel minder observaties, wat bewijst dat de bottleneck planning is, en niet kennis.

4. Experimentele Resultaten

Het framework werd geëvalueerd op een real-world klinische cohort van 167 Inflammatoire Darmziekte (IBD) patiënten met 216 genexpressie-features en 25 klinische fenotypes. De MRF-parameters werden geëliticeerd door een LLM die blind was voor deze specifieke cohort.

• Binaire Classificatie:
  • Tegenover de full-observation likelihood (de eigen grondwaarheid van het model) bereikte de formele planner (met MaxEnt closure) 100% nauwkeurigheid bij volledige observatie en presteerde significant beter dan willekeurige ordening in een vroeg stadium (bijv. +30,6 procentpunt bij $t=10$).
  • Tegenover klinische labels verzadigde de planner op ~65% nauwkeurigheid, wat een onherroepelijke mismatch reflecteert tussen de LLM-geëliticeerde model en de klinische realiteit (biologische fout).
  • LLM Baselines: Directe LLM-baselines (MRF-LLM en RAG-LLM) die dezelfde geëliticeerde parameters kregen, presteerden significant slechter (0,24–0,46 nauwkeurigheid) dan de formele planner, wat bevestigt dat het scheiden van kennis en planning noodzakelijk is.
• Top-k Identificatie:
  • Sign Accuracy: Op "chaotische" patiënten (die onstabiele beslissingstrajecten vertonen) presteerde de lineariteit (mean-field) score beter dan de Wald-accumulator met 34,1 procentpunt bij $t=2$, en verkleinde de kloof pas naarmate er meer data werd geobserveerd.
  • Ranking Accuracy: De priority-weighted allocation regel presteerde significant beter dan random, greedy en geclusterde baselines. Bij $t=150$ bereikte het 0,864 sign accuracy, een lift van 4,7 procentpunt ten opzichte van de beste niet-priority baseline.
  • Top-5 Rangschikking: Het framework benaderde het onherroepelijke plafond dat wordt bepaald door de MRF-klinische mismatch, en presteerde aanzienlijk beter dan de LLM-baselines die de geëliticeerde structuur niet effectief konden benutten.

5. Betekenis en Claims

Het artikel claimt een mathematisch rigoureus fundament te leggen voor zero-shot AFA door de rol van de LLM (kennis-elicitatie) strikt te scheiden van de rol van het algoritme (sequentiële planning).

• Verschuiving van de Bottleneck: De auteurs argumenteren dat de fundamentele bottleneck in zero-shot AFA is verschoven van datatekort naar kennisgetrouwheid (knowledge fidelity). De formele planner is in staat om het beschikbare biologische signaal te verzadigen; de resterende kloof tussen de prestaties van het model en de klinische grondwaarheid komt door de beperkingen van de door de LLM geëliticeerde kennis (hallucinaties of mechanistische simplificaties), niet door het planning-algoritme.
• Omgaan met Heterogeniteit: Het framework demonstreert een robuuste adaptiviteit aan patiëntheterogeniteit, specifiek door het beheren van "chaotische" gevallen waar standaard biologische verwachtingen falen, door gebruik te maken van de structurele priors van de geëliticeerde MRF.
• Praktisch Nut: Het werk biedt een levensvatbaar pad voor geautomatiseerde diagnostische ondersteuning in situaties met zeldzame ziekten waar geen gelabelde data beschikbaar is, waarbij een principieel alternatief wordt geboden voor menselijke expert-interrogatie of data-hongerige machine learning modellen.

De auteurs blijven bescheiden en erkennen dat het framework afhankelijk is van de getrouwheid van de LLM-elicitatie en dat huidige LLMs nog niet in staat zijn tot gekalibreerde continue magnituden te leveren, wat de discretisering van observaties naar ternaire waarden noodzakelijk maakt.