Technische Samenvatting: LLM-Sparsiteitsprior voor Robuuste Featureselectie

Probleemstelling

De integratie van Large Language Models (LLM's) in statistische pijplijnen biedt een schaalbaar mechanisme om domein-informeerde priorinformatie te eliciteren voor variabeleselectie in hoge dimensies. Echter, bestaande methoden, zoals LLM-Lasso, vertonen aanzienlijke gevoeligheid voor de kwaliteit van door LLM's gegenereerde gewichten. Wanneer deze gewichten onnauwkeurig, misleidend of "slecht" zijn, verslechtert de prestatie van door LLM's geïnformeerde methoden aanzienlijk, vaak met onderprestaties ten opzichte van standaard baselines. Huidige benaderingen missen een principiële raamwerk om gewichtkwaliteit te kwantificeren voor integratie en missen robuustheidsmechanismen om niet-informatieve gewichten dynamisch te verdisconteren zonder winst te offeren wanneer gewichten accuraat zijn.

Methodologie

1. Kwantificering van Gewichtkwaliteit

De auteurs stellen eerst een raamwerk op om de kwaliteit van door LLM's gegenereerde feature-gewichten ($w$) te kwantificeren ten opzichte van een ground truth opnamevector ($\gamma^*$). Zij passen twee standaardmetrieken aan:

• $\ell_1$ Gewichtsovereenkomst ($\phi_{\ell_1}$): Meet de $\ell_1$-afstand tussen de ground truth en de min-max geschaalde gewichtvector.
• Paarsgewijze Gewichtsovereenkomst ($\phi_{\text{pairwise}}$): Meet de frequentie waarmee de relatieve ordening van gewichten overeenkomt met de strikte ordening van de ground truth (analoog aan Kendall's $\tau$ aangepast voor binaire waarheid).
  Deze metrieken maken een rigoureuze evaluatie mogelijk van door LLM's geïnformeerde methoden over variërende gewichtsregimes. In de praktijk, waar $\gamma^*$ onbekend is, wordt een plug-in schatter voorgesteld met gebruik van een standaard statistische schatting $\hat{\gamma}$ om empirische alignering te meten.

2. De LLM-Sparsiteitsprior (LSP)

De kernbijdrage is de LLM-Sparsiteitsprior (LSP), een Bayesiaans raamwerk dat door LLM's gegenereerde gewichten integreert in de prior opnamekansen van Spike-and-Slab en Spike-and-Slab Lasso modellen.

• Gewichtsintegratie: In plaats van de LLM te vragen continue kansen te schatten (wat foutgevoelig kan zijn), wordt de LLM gevraagd om ordinaal belangingsrangsordes toe te wijzen $w \in \{1, \dots, K\}^p$.
• Priorformulering: De prior opnamekans $\theta_j$ voor feature $j$ wordt gedefinieerd als:
  $$\theta_j = s \frac{w_j^\eta}{\sum_{k=1}^p w_k^\eta}$$
  waarbij:
  • $s \in (0, 1)$ een baseline sparsiteit parameter is.
  • $\eta \in (0, \eta_{\max})$ een concentratieparameter is die de mate van contrast tussen gewichten controleert. Als $\eta \to 0$, herstelt het model de traditionele uniforme setting; grotere $\eta$ versterkt gewichtsverschillen.
• Hiërarchische Hyperpriors: Om robuustheid te waarborgen, wijzen de auteurs hiërarchische hyperpriors toe aan $s$ en $\eta$:
  • $s \sim \text{Beta}(a_s, b_s)$.
  • $\eta$ volgt een zero-inflated Discrete Uniform prior: $\eta \sim \pi_0 \delta_0 + (1-\pi_0)\text{DiscreteUniform}(E)$.
  • Deze structuur stelt het model in staat om dynamisch "terug te vallen" naar een niet-informatieve baseline ($\eta=0$) als de LLM-gewichten conflicteren met de data, waardoor prestatieverlies door slechte gewichten wordt voorkomen.

3. Posterior Schatting

De LSP is compatibel met efficiënte posterior schattingsmethoden:

• Spike-and-Slab: Een adaptatie van het Add-Delete-Swap (ADS) algoritme wordt gebruikt. De Metropolis-Hastings acceptatieverhouding wordt aangepast om rekening te houden met heterogene prior opnamekansen, en gewichten worden gebruikt om de opnamevector $\gamma$ te initialiseren om convergentie te versnellen.
• Spike-and-Slab Lasso: Het coördinaatdescend-algoritme wordt meerdere keren uitgevoerd over een rooster van $\eta$-waarden om de waarde te selecteren die de log gezamenlijke posterior maximaliseert.

Belangrijkste Bijdragen

1. Gewichtkwaliteitsraamwerk: Een principiële diagnostische tool om door LLM's gegenereerde gewichtkwaliteit te kwantificeren, waardoor een rigoureuze vergelijking van generatiemechanismen mogelijk wordt.
2. LLM-Sparsiteitsprior (LSP): Een nieuw raamwerk dat LLM-gewichten integreert in Bayesiaanse variabeleselectie via interpreteerbare hyperparameters ($s$ en $\eta$) en hiërarchische priors die robuustheid garanderen tegen misleidende gewichten.
3. Prompt Engineering & Validatie: Ontwikkeling van principiële promptstrategieën en empirische validatie op een privaat medisch dataset (Acute Nierschade), waarbij robuustheid tegen promptvariaties en effectiviteit in data-schaarse regimes wordt aangetoond.

Resultaten

Simulatiestudies

• Robuustheid: LSP-methoden (zowel Spike-and-Slab als Spike-and-Slab Lasso varianten) blijven robuust over alle gewichtskwaliteiten. Onder willekeurige gewichten ($\phi_{\ell_1} = 0.5$) is de LSP-prestatie bijna identiek aan de baseline (binnen 0.1 eenheden van $\ell_1$-fout).
• Prestatiewinst: Naarmate gewichtkwaliteit verbetert, presteert LSP aanzienlijk beter dan baselines. Bijvoorbeeld, in hoge-dimensionale regimes met accurate gewichten, verlaagde LSP de $\ell_1$-fout viermaal ten opzichte van de standaard Spike-and-Slab.
• Vergelijking met LLM-Lasso: In tegenstelling tot LSP, is de LLM-Lasso-methode zeer volatiel. Onder matige tot slechte gewichtsregimes verslechtert de prestatie ernstig (tot 1,64 keer de fout van standaard Lasso) omdat cross-validatie faalt om correct terug te vallen naar standaard Lasso wanneer gewichten niet-informatief zijn.

Toepassing: Acute Nierschade (AKI)

Met behulp van een privaat dataset van Baylor College of Medicine (BCM) met betrekking tot patiënten die hartchirurgie ondergingen, voorspelden de auteurs post-operatieve serum creatininespiegels.

• Voorspellende Nauwkeurigheid: LSP (Spike-and-Slab) verlaagde de out-of-sample Mean Squared Error (MSE) met gemiddeld 5% over vijf distincte patiëntsubpopulaties ten opzichte van de standaard Spike-and-Slab.
• Featureselectie: LSP identificeerde klinisch relevante features die door baselines werden gemist. Specifiek selecteerde het uniek Intraoperatief getransfundeerde Rode Bloedcellen (RBC) als een belangrijke predictor, een bekende biomarker voor AKI, terwijl de baseline-methode deze miste.
• Data-schaarse Regimes: De prestatiewinst van LSP ten opzichte van baselines nam toe naarmate de steekproefomvang afnam ($n \in \{100, 150, 200\}$), wat de bruikbaarheid bevestigt in data-schaarse omgevingen.
• Promptgevoeligheid: De methode bleef robuust over vijf verschillende prompt engineering strategieën, waarbij LSP (Spike-and-Slab) in 24 van de 25 gevallen de baseline overtrof.

Betekenis en Claims

Het artikel claimt dat de LLM-Sparsiteitsprior een betrouwbare en effectief alternatief biedt voor real-world toepassingen waar de kwaliteit van door LLM's gegenereerde gewichten onbekend is. Door het opnemen van een hiërarchische prior die het model in staat stelt om niet-informatieve gewichten dynamisch te verdisconteren, bereikt LSP twee doelen gelijktijdig:

1. Het maakt gebruik van hoge-kwaliteit domeinkennis om voorspellende nauwkeurigheid en featureselectie te verbeteren wanneer gewichten accuraat zijn.
2. Het voorkomt de aanzienlijke prestatievermindering die wordt gezien in bestaande methoden (zoals LLM-Lasso) wanneer gewichten onnauwkeurig of misleidend zijn.

De auteurs merken op dat het voordeel van LSP het meest uitgesproken is in data-schaarse regimes en sterk sparsere settings waar standaardmethoden moeite hebben om signalen te identificeren. Zij concluderen dat hoewel door LLM's geïnformeerde methoden veelbelovend zijn, hun praktische bruikbaarheid afhangt van robuuste integratiemechanismen zoals LSP die rekening houden met de stochasticiteit en potentiële hallucinaties van LLM's.