Technische Samenvatting: Voorbij Statische Bias: Adaptieve Multi-Fidelity Bandieten met Verbeterende Proxy's

Probleemdefinitie

Dit werk behandelt een specifieke uitbreiding van het stochastische multi-armed bandit (MAB)-probleem, bekend als Multi-Fidelity Multi-Armed Bandits (MF-MAB). In standaard MF-MAB-situaties kunnen armen worden geëvalueerd met meerdere feedbackbronnen (fideliteiten) die een afweging maken tussen kosten en nauwkeurigheid. Traditionele frameworks gaan uit van een statische bias tussen lage-fideliteit (goedkope) en hoge-fideliteit (duur) bronnen; het verschil is vast, ongeacht hoe vaak de lage-fideliteit bron wordt opgevraagd.

Moderne toepassingen die leren-gebaseerde simulatoren en Large Language Models (LLM's) als beoordelaars gebruiken, vertonen echter een ander dynamiek: de lage-fideliteit proxy-bron kan verbeteren door extra kalibratie of herhaald gebruik. Het artikel onderzoekt een MF-MAB-situatie met een begrensde begroting waarbij:

1. Er $K$ armen zijn met een stationaire hoge-fideliteit doelpuntgemiddelde $\mu^{(H)}_k$.
2. Een lage-fideliteit bron observaties $Y^{(L)}_{k,\tau}$ levert die evolueren op basis van het aantal opvragingen $\tau$ dat aan die specifieke arm is gedaan.
3. De lage-fideliteit bron begint met een mismatch ten opzichte van het hoge-fideliteit doel, maar deze mismatch neemt af naarmate de bron vaker wordt opgevraagd (bijvoorbeeld via kalibratie).
4. Het doel is om kosten-gewogen pseudo-regret te minimaliseren, gedefinieerd als de cumulatieve kosten die worden gemaakt door suboptimale armen te selecteren, in plaats van alleen het aantal trekkingen.

De kernuitdaging is bepalen wanneer te stoppen met het opvragen van de verbeterende lage-fideliteit bron en over te schakelen naar de dure hoge-fideliteit bron. Een statische drempelregel zou te vroeg kunnen overschakelen, waardoor de kans wordt gemist dat de lage-fideliteit bron door voortgezette goedkope bemonstering voldoende nauwkeurig wordt.

Methodologie

Modellering van de Verbeterende Proxy

De auteurs introduceren een geselecteerd-gemiddelde mismatchgrens om de evoluerende discrepantie vast te leggen. In plaats van uit te gaan van een vaste bias $|\mu^{(L)}_k - \mu^{(H)}_k| \le \zeta$, gaan ze uit van een evoluerend certificaat $U_k(n)$ zodat de cumulatieve mismatch begrensd is:
$$\sum_{\tau=1}^n |\mu^{(L)}_k(\tau) - \mu^{(H)}_k| \le U_k(n)$$
Dit leidt tot een geselecteerd-gemiddelde mismatchgrens $B_k(n) = \sup_{s \ge n} U_k(s)/s$, die de discrepantie begrenst tussen het empirische lage-fideliteit gemiddelde en het ware hoge-fideliteit doel. Naarmate $n$ toeneemt, neemt $B_k(n)$ af, wat de verbeterende betrouwbaarheid van de proxy weerspiegelt.

Het TACC-algoritme

Het artikel stelt het Threshold-Based Adaptive Continuation Companion (TACC)-algoritme voor. TACC werkt volgens een op vertrouwen gebaseerd sjabloon, maar introduceert een nieuwe begrensde voortzettingsregel voor de lage-fideliteit bron.

1. Vertrouwensintervallen: TACC bouwt Upper Confidence Bounds (UCB) voor het hoge-fideliteit doel $\mu^{(H)}_k$ met behulp van beide fideliteiten.
   • Hoge-fideliteit UCB: Standaard statistisch interval.
   • Lage-fideliteit UCB: Standaard statistisch interval plus de mismatchcorrectie $B_k(n)$.
2. Armselectie: Het algoritme selecteert de arm met de hoogste optimistische score, gedefinieerd als het minimum van de lage-fideliteit en hoge-fideliteit UCB's.
3. Fideliteitselectie (De kerninnovatie):
   • Pre-drempel: Als de statistische onzekerheid (straal) van de lage-fideliteit boven een drempel $\gamma$ ligt, blijft het algoritme lage fideliteit bemonsteren.
   • Post-drempel: Zodra de statistische straal onder $\gamma$ zakt, zou een statische regel direct overschakelen naar hoge fideliteit. TACC controleert echter of een begrensde voortzetting kosteneffectief is.
   • Voortzettingsregel: Het algoritme berekent de verwachte afname in de mismatchcorrectie $V_{k,t}(s)$ als er $s$ extra lage-fideliteit opvragingen worden gedaan. Als de reductie in mismatch voldoende is om de suboptimaliteit van de arm mogelijk te certificeren zonder hoge-fideliteit bevestiging, en de kosten van deze extra opvragingen begrensd zijn (specifiek, $S_0 \lambda^{(L)} \le \lambda^{(H)}$), blijft TACC lage fideliteit bemonsteren. Anders schakelt het over naar hoge fideliteit.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formaliseert de MF-MAB-situatie met verbeterende proxy-bronnen, verdergaand dan de statische bias-aanname die prevaleert in eerdere literatuur. Het introduceert de geselecteerd-gemiddelde mismatchgrens om de dynamische reductie van discrepantie te modelleren.
2. Algoritmeontwerp: TACC wordt voorgesteld als een optimistisch algoritme dat standaard armselectie combineert met een begrensde post-drempel voortzettingsregel. Deze regel beslist expliciet of de "verbetering" van de lage-fideliteit bron rechtvaardigt om de dure hoge-fideliteit opvraging uit te stellen.
3. Theoretische Analyse: De auteurs leiden een instance-afhankelijke regretgrens af. De analyse verdeelt suboptimale armen in drie klassen:
   • Eenvoudige armen ($A_\gamma$): Gecertificeerd door lage fideliteit voor de drempel.
   • Intermediaire armen ($C_\gamma$): Niet gecertificeerd bij de statische drempel, maar certificeerbaar na begrensde lage-fideliteit voortzetting.
   • Moeilijke armen ($H_\gamma$): Vereisen hoge-fideliteit bevestiging.
     De grens toont aan dat voor gedetecteerde intermediaire armen, TACC de logaritmische hoge-fideliteit bevestigingskosten vervangt door een begrensde lage-fideliteit voortzettingskosten.
4. Empirische Validatie: Experimenten met synthetische bandieten en een gecontroleerde LLM-as-a-judge beleidsevaluatietaken tonen aan dat TACC de kosten-gewogen regret verlaagt in vergelijking met statische multi-fidelity regels (MF-UCB) en baselines die alleen hoge fideliteit gebruiken (UCB).

Resultaten

Synthetische Experimenten

In synthetische situaties met 200 en 500 armen behaalde TACC consistent lagere kosten-gewogen regret dan UCB, MF-UCB en statische twee-fideliteit regels. Het voordeel was het meest uitgesproken in scenario's met hoge hoge-fideliteit kosten (bijvoorbeeld $\lambda^{(H)} = 50$), waarbij het vermijden van onnodige hoge-fideliteit bevestigingen via begrensde voortzetting aanzienlijke besparingen opleverde.

LLM-as-a-Judge Experiment

De auteurs evalueerden TACC in een beleidsevaluatiepijplijn waarbij armen prompt-beleidsregels waren voor Natural Language Inference (NLI).

• Opzet: Lage fideliteit was een "zwakke rechter" (een kleinere LLM) die verbeterde met kalibratie; hoge fideliteit was een "verificator" (grondwahrheid).
• Vondsten: TACC presteerde beter dan alle baselines, inclusief een directe ablatie (DNC) die dezelfde mismatchgrenzen gebruikte maar de voortzettingslogica miste. TACC verlaagde de uiteindelijke kosten-gewogen regret met ongeveer 10-20% ten opzichte van de beste statische baselines, wat bevestigt dat het mechanisme voor begrensde voortzetting effectief gebruik maakt van de verbeterende aard van de zwakke rechter om voortijdige overschakeling naar de dure verificator te voorkomen.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis van dit werk ligt in het erkennen dat proxy-bronnen in moderne AI-systemen niet statisch zijn. Door de lage-fideliteit bron te behandelen als een verbeterende entiteit, tonen de auteurs aan dat de optimale strategie niet alleen is om fideliteiten te wisselen op basis van huidige onzekerheid, maar om adaptief voort te zetten met het bemonsteren van de goedkope bron als wordt verwacht dat deze voldoende verbetert om ambiguïteit op te lossen.

De auteurs formuleren hun bijdrage bescheiden als een canoniek twee-fideliteit model. Ze erkennen beperkingen, met name dat het huidige werk uitgaat van een bekende mismatchgrens en zich richt op arm-lokale evolutie (waar verbetering alleen plaatsvindt wanneer een specifieke arm wordt opgevraagd), in plaats van globale modelfine-tuning die alle armen gelijktijdig beïnvloedt. Het werk dient als een fundamentele stap naar complexere, dynamische fideliteittoewijzingsstrategieën in situaties met LLM's en leren-gebaseerde simulatoren.