Technische Samenvatting: Een Regimetheorie voor de Selectie van Controllerklassen voor Actiebeslissingen van LLM's

1. Probleemstelling

Geïmplementeerde taal- en visueel-taalmodellen (LLM's/VLM's) staan bij elke invoer voor een kritieke beslissing: of ze direct antwoorden, bewijs ophalen, doorverwijzen naar een sterker model, of zich onthouden. Hoewel standaard engineeringbenaderingen vaak veronderstellen dat expressievere controllers (bijvoorbeeld op instantie-niveau geleerde regels) uniform superieur zijn, betoogt dit artikel dat in regimens met een eindige steekproefomvang grotere expressiviteit niet altijd voordelig is.

Het kernprobleem is de selectie van de controllerklasse. Bestaande literatuur bepaalt doorgaans een structureel ontwerp (bijvoorbeeld een globale drempel, een partitioneringsrouter of een classifier op instantie-niveau) en optimaliseert binnen die familie zonder te verifiëren of de beschikbare data dat niveau van complexiteit ondersteunt. De auteurs stellen dat onder strikte cross-validatie verschillende benchmarks verschillende controllerklassen prefereren, wat de impliciete monotoniepremissie "hoe fijner, hoe beter" weerlegt. Dit fenomeen ontstaat omdat onzekerheidssignalen op instantie-niveau kunnen worden uitgeput op een schaal die afhankelijk is van de verdeling, wat leidt tot regimens met een variantiegrens waarin complexe controllers geen betere prestaties leveren dan eenvoudigere.

2. Methodologie

2.1 Rooster van Beleidklassen

De auteurs ordenen controllers in een strikt genest rooster van vier klassen ($\Pi_0 \subset \Pi_1 \subset \Pi_2 \subset \Pi_3$), gesorteerd op complexiteit:

• $\Pi_0$ (Vaste Acties): Een constante actie $\pi(x) \equiv a$ voor alle invoer.
• $\Pi_1$ (Partitioneringsrouters): Invoer wordt opgesplitst in een eindig aantal groepen (partities), waarbij aan elke groep een specifieke actie is toegewezen.
• $\Pi_2$ (Controllers op Instantie-niveau): Meetbare afbeeldingen van per-stukken kenmerken naar acties, geleerd via een hypothese-familie met beperkte complexiteit (bijvoorbeeld logistische regressie, gradient boosting).
• $\Pi_3$ (Prior-gegateerde Controllers): Gebruikt een externe, labelvrije prior-kanaal (bijvoorbeeld OCR-tokens) om beslissingen te gaten. Als de prior zekerheid heeft, triggert deze een specifieke actie; anders valt deze terug op een controller uit een lagere klasse ($\Pi_0$, $\Pi_1$ of $\Pi_2$).

2.2 Regimediagnostiek en Theoretische Grenzen

Het artikel reduceert het probleem van klasseselectie tot drie uit data te schatten knelpunten, geformaliseerd via vier stellingen:

1. Residugrens (Stelling 1): Beperkt de totale mogelijke verbetering van elke adaptieve controller ten opzichte van de beste vaste actie, gebaseerd op de waarschijnlijkheidsmassa van de "residuset" (invoer waarbij een betere actie bestaat). Als deze massa klein is, kan geen enkele adaptieve klasse de prestaties significant verbeteren.
2. Bernstein-Strakke Levensvatbaarheidsdrempel (Stelling 2 en Proposition 1): Vestigt een drempel voor eindige steekproeven ($n_{min}$) die vereist is voor een controller op instantie-niveau ($\Pi_2$) om betrouwbaar een positieve winst te certificeren. Deze drempel hangt af van de AUC-marge ($\beta$), de operationele dekking ($q$) en het betrouwbaarheidsniveau ($\delta$). Onder deze drempel is het teken van de empirische winst niet gecertificeerd (variantie-gebonden), en kan $\Pi_2$ slechter presteren dan eenvoudigere baselines.
3. Partitioneringswinst-grens (Stelling 3): Biedt een ondergrens voor de winst die haalbaar is met een partitioneringsrouter ($\Pi_1$). In tegenstelling tot $\Pi_2$, dat afhankelijk is van per-stukken marges, is $\Pi_1$ afhankelijk van cluster-massa en discriminabiliteitsgaten. Dit stelt $\Pi_1$ in staat om te slagen in regimens waar $\Pi_2$ variantie-gebonden is.
4. Houd-out Selectiegrens (Stelling 4): Bewijst dat strikte geneste cross-validatie een bijna-optimale klasse selecteert met een gebonden foutterm, mits de kandidaat-klassen worden beperkt door de regimediagnostiek.

2.3 Selectieprotocol

Het voorgestelde selectieregel werkt als volgt:

1. Bereken diagnostieken ($\beta, n, P(R), \{p_g \gamma_g\}$) op een houd-out split.
2. Pas Corollarium 1 toe om het levensvatbare regime te bepalen:
   • Als $P(R)$ klein is, is $\Pi_0$ optimaal.
   • Als $\beta > 0$ maar $n < n_{min}$, is $\Pi_2$ niet gecertificeerd; $\Pi_1$ wordt geprefereerd als het een positieve winst biedt.
   • Als $n \ge n_{min}$, vergelijk de asymptotische plafonds van $\Pi_1$ en $\Pi_2$; de klasse met het hogere plafond wordt geselecteerd.
3. Gebruik strikte geneste cross-validatie om de keuze empirisch te verifiëren.

3. Belangrijkste Resultaten

De auteurs hebben hun theorie geëvalueerd op vier kernbenchmarks met behulp van strikte geneste 5-voudige cross-validatie met 5 zaden:

• SMS-Spam (Residugebonden): De residumassa is verwaarloosbaar ($P(R) \approx 0,009$). De theorie voorspelt correct dat $\Pi_0$ (vaste actie) de winnaar is. Empirisch collapseerden alle adaptieve controllers ($\Pi_1, \Pi_2$) naar de vaste actie of presteerden ze iets slechter.
• HallusionBench (Bernstein-Levensvatbaar, Hoog Signaal): Met $n=920$ en een grote marge, ver overschrijdt de steekproefomvang de levensvatbaarheidsdrempel ($n \gg n_{min}$). De theorie voorspelt dat $\Pi_2$ (op instantie-niveau) moet winnen vanwege een hoger asymptotisch plafond. Empirisch presteerde $\Pi_2$ (HGBC) beter dan $\Pi_1$ en $\Pi_0$.
• A-OKVQA (Grenzgeval): Een hoog-signaalregime waarbij de asymptotische plafonds van $\Pi_1$ en $\Pi_2$ vergelijkbaar zijn. De theorie voorspelt $\Pi_2$ als de populatie-optimale winnaar, hoewel empirische resultaten een nauwe verdeling tussen $\Pi_1$ en $\Pi_2$ toonden afhankelijk van de specifieke realisatie van de familie.
• FOLIO (Variantiegebonden): Met slechts $n=203$ samples ligt de dataset diep in het variantie-gebonden gebied ($n \ll n_{min} \approx 1898$). De theorie voorspelt dat het teken van $\Pi_2$ niet gecertificeerd is en dat $\Pi_1$ (partitioneringsrouter) strikt moet verbeteren ten opzichte van $\Pi_0$. Empirisch verhoogde de beste $\Pi_2$-controller de verliezen ten opzichte van $\Pi_0$, terwijl $\Pi_1$ de laagste verliezen behaalde.
• TextVQA-OCR ($\Pi_3$ Demonstratie): Met behulp van OCR-tokens als labelvrije prior, gateerde de $\Pi_3$-controller succesvol gevallen met hoge zekerheid en viel terug op een geleerd model, wat leidde tot een aanzienlijke vermindering van de verliezen (10,8 gezamenlijke seed-sd) ten opzichte van de beste lagere klasse.

De voorspelde klasse kwam overeen met de empirische winnaar in alle vier de kernbenchmarks. Bovendien faarden standaard kostengevoelige learning-to-defer-baselines (die inherent $\Pi_2$ zijn) op FOLIO, wat bevestigt dat het falen te wijten was aan het regime (steekproefomvang versus complexiteit) en niet aan implementatiedetails.

4. Betekenis en Aanspraken

Het artikel claimt een regimetheorie te bieden die de focus verschuift van "hoe maak je een controller expressiever" naar "welke klasse de data daadwerkelijk kan ondersteunen".

• Niet-monotonie: Het toont aan dat de ordening bij eindige steekproeven niet monotoon is in controllercomplexiteit; een grovere klasse kan de statistisch gerechtvaardigde keuze zijn, zelfs wanneer een fijnere per-invoer regel beschikbaar is.
• Operationele Diagnostiek: Het werk vertaalt abstracte statistische beperkingen naar berekenbare diagnostieken (residumassa, Bernstein-drempels, partitioneringsgaten) die praktisch systeemontwerp sturen.
• Robuustheid: De selectieregel blijkt robuust te zijn over verschillende benchmarks en kosten-gewichtconfiguraties, en identificeert dat het "regime" (dataschaal en signaalstructuur) de optimale architectuur dicteert meer dan de specifieke hyperparameters binnen een familie.
• Theoretische Strakheid: De voorgestelde levensvatbaarheidsdrempel blijkt orde-strak te zijn ten opzichte van informatie-theoretische ondergrenzen, en de selectiegrens garandeert bijna-optimale prestaties onder strikte cross-validatie.

De auteurs concluderen dat betrouwbare deferred-implementatie vereist dat de controllerklasse wordt afgestemd op het data-regime, in plaats van universeel de meest complexe beschikbare architectie toe te passen.