Technische Samenvatting: Moet u uw Large Language Model gebruiken voor exploratie of exploitatie?

Probleemstelling

Het artikel behandelt de toepassing van Large Language Models (LLM's) op besluitvormingsproblemen die worden gekenmerkt door de exploratie-exploitatie-tradeoff, specifiek binnen het kader van multi-armed bandits (MAB) en contextual bandits (CB). Waar eerder onderzoek zich grotendeels richtte op het evalueren van het vermogen van LLM's om deze taken end-to-end op te lossen via in-context leren (door ruwe historie en parameters in een enkele prompt te verstrekken), betoogt dit werk dat dergelijke monolithische benaderingen vaak falen. In plaats daarvan stellen de auteurs een systematische evaluatie van LLM's in "silo's" voor: het beoordelen van hun afzonderlijke capaciteiten als exploitatie-orakels (het selecteren van de beste actie gegeven een historie en huidige context) en exploratie-orakels (het voorstellen van een kleine, hoogwaardige subset van kandidaten uit een enorme actieruimte om te worden verwerkt door een standaard bandit-algoritme).

Methodologie

1. LLM's als Exploitatie-orakels

De auteurs evalueren het vermogen van diverse LLM's (waaronder GPT-3.5, GPT-4, GPT-4O, GPT-5 familie modellen, Qwen-2.5, Gemma-3, Mistral-7B en DeepSeek-R1) om de optimale actie te identificeren op basis van een historie van (context, actie, beloning) tupels.

• Taken:
  • MAB Exploitatie: Het selecteren van de arm met de hoogste empirische beloning uit een vaste set armen op basis van historische Bernoulli-beloningen.
  • Contextual Bandit (CB) Exploitatie: Het selecteren van de beste arm voor een nieuwe context $z_{T+1}$ gegeven een historie van contexten en beloningen. Dit omvat zowel lineaire CB's (waar de verwachte beloning een lineaire functie is van de context) als niet-lineaire/tekstgebaseerde CB's (waar contexten semantische beschrijvingen zijn en beloningen niet-lineaire functies zijn).
• Mitigaties: Om de beperkingen van het contextvenster en tekortkomingen in redeneren aan te pakken, testen de auteurs:
  • Toolgebruik: Het voorzien van de LLM van toegang tot een Python code-interpreter om berekeningen uit te voeren.
  • In-Context Samenvatting: Het reduceren van de omvang van de historie via $k$-nearest neighbors of $k$-means clustering van contexten voordat deze aan de LLM worden gevoerd.
• Baselines: Prestaties worden vergeleken met eenvoudige lineaire regressie (voor lineaire taken) en willekeurige gokken.

2. LLM's als Exploratie-orakels

De auteurs evalueren het vermogen van LLM's om grote, semantisch rijke actieruimtes te "discretiseren" naar een beheersbare set kandidaten voor een standaard bandit-algoritme (UCB1).

• Taken:
  • MovieLens: Het aanbevelen van een subset van films uit een grote catalogus op basis van gebruikersbeoordelingen.
  • arXiv: Het voorstellen van titels voor een paper op basis van de abstract.
  • Filosofische Vraag/Antwoord: Het genereren van diverse antwoorden op open vragen.
• Evaluatie: De LLM genereert $K$ kandidaat-acties. Een standaard UCB1-algoritme draait gedurende $T$ rondes op deze $K$ kandidaten. Prestaties worden gemeten aan de hand van de cumulatieve beloning (gedenoised) die wordt behaald.
• Baselines: Willekeurige selectie van armen en, voor de arXiv-taak, een Maximal Marginal Relevance (MMR) baseline.

Belangrijkste Bijdragen en Resultaten

1. Exploitatie Prestaties

• Modelcapaciteit: Frontier reasoning modellen (specifiek de GPT-5 familie) tonen veelbelovendheid voor exploitatie-taken, waarbij ze bijna perfecte prestaties leveren op kleinschalige MAB-puzzels. Echter, non-reasoning modellen (GPT-3.5, GPT-4) hebben aanzienlijke moeite, waarbij de prestaties afnemen naarmate de historie grootte ($T$) en probleemdimensionaliteit ($d, K$) toenemen.
• Impact van Mitigaties:
  • Toolgebruik: Toegang tot een code-interpreter verbetert de prestaties op lineaire CB-taken aanzienlijk, wat soms GPT-4 in staat stelt om GPT-5 te overtreffen. Dit gaat echter gepaard met hoge kosten voor latentie en uitgaven.
  • Samenvatting: In-context samenvatting ($k$-nearest, $k$-means) helpt bij het verwerken van grote historie, maar overbrugt de prestatiekloof niet volledig.
• De Lineaire Baseline: Een cruciale bevinding is dat zelfs met mitigaties, alle onderzochte LLM's slechter presteren dan een eenvoudige lineaire regressie baseline op lineaire taken. In niet-lineaire, tekstgebaseerde taken worden LLM's aanzienlijk overtroffen door lineaire regressie, ondanks het niet-lineaire karakter van de beloningsfunctie.
• Kosten/Latentie: Het artikel merkt op dat LLM-gebaseerde exploitatie orden van grootte trager en duurder is dan traditionele regressie-solvers. Bijvoorbeeld, een enkele run met een code-interpreter duurde meer dan 6 uur en kostte ~$70, terwijl regressie-solvers in milliseconden draaien.

2. Exploratie Prestaties

• Semantisch Voordeel: LLM's vertonen robuust succes als exploratie-orakels. Ze presteren aanzienlijk beter dan non-LLM baselines (willekeurige selectie en, in het geval van MovieLens, genre-gebaseerde discretisatie) over alle taaltypen heen.
• Mechanisme: LLM's maken gebruik van hun vooraf getrainde "inductieve bias" en semantisch begrip om kandidaten voor te stellen uit gebieden met een hoge beloning in de actieruimte, waardoor ze effectief fungeren als een "slimme discretisatie"-mechanisme.
• Prompting Strategieën: Verschillende prompting strategieën (alles-tegelijk versus 1-voor-1, met/zonder stimulering van diversiteit) leverden vergelijkbare resultaten op, wat suggereert dat de kerncapaciteit ligt in de inherente kennis van het model in plaats van specifieke prompt engineering.

Betekenis en Claims

Het artikel beweert een systematische evaluatie te bieden van LLM's in isolatie van andere besluitvormingscomponenten, wat een genuanceerd beeld geeft van hun huidige beperkingen en sterktes:

1. Beperkingen van Exploitatie: Huidige frontier LLM's zijn nog niet betrouwbaar als algemene exploitatie-orakels voor complexe of grootschalige besluitvorming. Ze slagen er niet in om de efficiëntie en nauwkeurigheid van eenvoudige statistische methoden (zoals lineaire regressie) te evenaren en lijden onder prohibitieve latentie en kosten. De auteurs suggereren dat de "generalistische" intelligentie van LLM's nog niet vertaalt naar optimale statistische besluitvorming zonder aangepaste training of zware tool-augmentatie.
2. Sterktes van Exploratie: Daarentegen zijn LLM's zeer effectief als exploratie-orakels. Hun vermogen om semantische betekenis te begrijpen stelt hen in staat om door grote, ongestructureerde actieruimtes te navigeren waar standaard algoritmen falen. Dit ondersteunt het gebruik van LLM's als "actie-priors" of "voorstelgeneratoren" binnen een groter agent-framework, in plaats van als de enige besluitvormer.
3. Toekomstverwachting: De auteurs waarschuwen tegen het "extreme optimisme" met betrekking tot het beheersen van eenvoudige besluitvormingstaken door LLM's. Hun resultaten wijzen erop dat moeilijkheden bij exploitatie langer aanhouden dan verwacht. De voorgestelde weg vooruit is om LLM's te gebruiken voor slimme discretisatie in rijke, tekstgebaseerde actieruimtes, terwijl men vertrouwt op traditionele algoritmen voor de eigenlijke exploitatie-fase.

Samenvattend betoogt het artikel dat hoewel LLM's momenteel slecht zijn in het zware statistische werk dat vereist is voor exploitatie, ze uniek waardevol zijn voor het zware semantische werk dat vereist is voor exploratie in grote, complexe actieruimtes.