Technische Samenvatting: LLM-SAA: Door LLM-persona's gegenereerde verdelingen voor besluitvorming

1. Probleemstelling

In veel operationele besluitvormingsproblemen (bijvoorbeeld assortimentsoptimalisatie, prijsbepaling, voorraadbeheer) hangt de optimale actie af van een onbekende waarschijnlijkheidsverdeling $F$ van uitkomsten (bijvoorbeeld klantvoorkeuren, betalingsbereidheid, vraag). Hoewel historische gegevens de standaardbron zijn voor het schatten van $F$, zijn deze vaak schaars, kostbaar of niet-existent voor nieuwe producten en evoluerende markten.

Grote Taalmodellen (LLM's) bieden een potentieel alternatief door synthetische gegevens te genereren of verdelingen te beschrijven op basis van wereldkennis. Het artikel onderzoekt de LLM-SAA (LLM Sample Average Approximation)-pijplijn: het gebruik van een LLM om een geschatte verdeling $\hat{F}$ te construeren (via synthetische steekproeven of beschrijvingen) en vervolgens de beslissing te optimaliseren op basis van $\hat{F}$ alsof dit de waarheid is.

De centrale uitdaging die wordt aangepakt is evaluatie: hoe kunnen we bepalen of een door een LLM gegenereerde verdeling $\hat{F}$ "goed" is voor besluitvorming wanneer de ware verdeling $F$ onbekend is? De auteurs betogen dat traditionele metrieken die statistische afstand meten (bijvoorbeeld de Wasserstein-afstand) tussen $\hat{F}$ en $F$ ontoereikend zijn, omdat een verdeling statistisch ver weg kan liggen maar toch tot optimale beslissingen leiden, of statistisch dichtbij kan zijn maar toch tot slechte beslissingen leiden.

2. Methodologie

2.1 Besluitbewuste Evaluatiemetrieken

Het artikel stelt voor om $\hat{F}$ te evalueren op basis van de kwaliteit van de resulterende beslissingen in plaats van statistische uitlijning.

• Concurrentie Ratio (CR): De prestatie van de actie $\hat{a}$ (geoptimaliseerd onder $\hat{F}$) wordt vergeleken met de optimale actie $a^*$ (geoptimaliseerd onder de waarheid $F$).
  $$C_\theta(F, \hat{F}) := \frac{\min\{|R_\theta(a^*)|, |R_\theta(\hat{a})|\}}{\max\{|R_\theta(a^*)|, |R_\theta(\hat{a})|\}}$$
  waarbij $R_\theta$ de verwachte beloning is. Een ratio dichter bij 1 wijst op betere besluitkwaliteit.
• Worst-Case Concurrentie Ratio (WorstCR): Om "lucky guesses" te vermijden waarbij $\hat{F}$ de juiste beslissing om de verkeerde reden oplevert, identificeren de auteurs de probleemparameters $\theta$ (bijvoorbeeld productkosten, budgetbeperkingen) die de concurrentie ratio minimaliseren. Dit omvat het oplossen van een optimalisatieprobleem waarbij de tegenstander $\theta$ selecteert om de door de LLM gebaseerde beslissing zo slecht mogelijk te laten presteren ten opzichte van de optimale beslissing.
• Average-Case Concurrentie Ratio (AvgCR): De verwachte concurrentie ratio over een verdeling van probleemparameters.

2.2 Generatiemethoden

De studie evalueert verschillende promptstrategieën om $\hat{F}$ te genereren:

1. Steekproeven: De LLM genereert individuele uitkomsten (bijvoorbeeld rangschikkingen, betalingsbereidheid) herhaaldelijk.
2. Persona-steekproeven: De LLM genereert uitkomsten terwijl het specifieke klantpersona's nabootst (bijvoorbeeld demografie, voorkeuren).
3. Batch-generatie: De LLM genereert een batch van uitkomsten in één query.
4. Beschrijving: De LLM beschrijft de verdeling (bijvoorbeeld gemiddelde, standaardafwijking of waarschijnlijkheidsmassapunten) in plaats van ruwe steekproeven te genereren.

Deze methoden worden getest tegen baselines zoals Random (uniforme verdelingen) en $d$ real data (empirische verdelingen uit kleine steekproefgroottes).

2.3 Probleemdomeinen

De methodologie wordt toegepast op drie canonieke operations research-problemen:

1. Assortimentsoptimalisatie: Het selecteren van een subset van items om aan te bieden om de verwachte nut te maximaliseren op basis van klantrangschikkingen.
2. Prijsbepaling: Het vaststellen van een prijs om de winst te maximaliseren gegeven een verdeling van betalingsbereidheid.
3. Newsvendor: Het bepalen van voorraadniveaus om de verwachte kosten van over- en ondervoorraad te minimaliseren.

Voor elk probleem leiden de auteurs efficiënte algoritmen af om de WorstCR te berekenen door gebruik te maken van de wiskundige structuur van de optimale beslissingsregels (bijvoorbeeld stuksgewijs lineaire winstfuncties bij prijsbepaling, monotonie bij assortiment).

3. Belangrijkste Resultaten

3.1 Prestaties in Regimes met Lage Gegevens

• LLM-SAA vs. Random: Door LLM's gegenereerde verdelingen presteren consistent beter dan oninformatieve random baselines in alle drie de probleemdomeinen.
• LLM-SAA vs. Kleine Real Data: In regimes met lage gegevens (bijvoorbeeld $d=5$ of $d=15$ real samples) is LLM-SAA vaak concurrerend met, en soms superieur aan, empirische verdelingen afgeleid van beperkte real data.
• Persona-Sturing: Hoewel "Persona-steekproeven" individuele antwoorden niet nauwkeurig nabootste (hoge PersonaMAE), verbeterde het significant de downstream besluitkwaliteit (hoge CR). Dit suggereert dat persona's de LLM helpen de diversiteit van de populatieverdeling te vangen in plaats van alleen individuele trouw.

3.2 Falen van Besluit-agnostische Metrieken

Het artikel toont aan dat standaard verdelingsafstanden misleidende proxies zijn voor besluitkwaliteit:

• Wasserstein/Kolmogorov Afstanden: In verschillende experimenten behaalde de Random baseline de laagste (beste) Wasserstein-afstand in vergelijking met LLM-methoden, toch leverde de Random baseline de slechtste beslissingen op. Omgekeerd leverden LLM-methoden met hogere statistische afstanden vaak bijna optimale beslissingen op.
• Conclusie: Statistische nabijheid tot de ware verdeling garandeert geen goede besluitvorming; het vangen van specifieke structurele kenmerken die relevant zijn voor de optimalisatie (bijvoorbeeld scherpe dalingen in overlevingsfuncties voor prijsbepaling) is kritischer.

3.3 Specifieke Bevindingen per Domein

• Assortiment: LLM's vingen complexe item-affiniteiten (bijvoorbeeld substitueerbaarheid) en "polariserende" items beter dan eenvoudige populariteitsscores, vooral in "Hard" regimes waar itemgroottes correleerden met populariteit.
• Prijsbepaling: LLM's slaagden erin het menselijke neigen om ronde getallen (veelvouden van 5 of 0) te rapporteren in betalingsbereidheid te repliceren. Deze structurele uitlijning stelde de LVM in staat om optimale prijzen te identificeren die zich bevinden bij "dalingen" in de overlevingsfunctie, zelfs als de algehele verdeling niet perfect uitgelijnd was.
• Newsvendor: LLM's verbeterden de worst-case prestaties significant ten opzichte van random baselines, hoewel de average-case prestaties in sommige settings vergelijkbaar waren met random baselines.

4. Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. LLM-SAA Pijplijn: Het formaliseert het gebruik van LLM's om verdelingen te genereren voor downstream optimalisatie in data-scarce omgevingen, en gaat verder dan het gebruik van LLM's louter als besluitnemers of enquête-simulatoren.
2. Besluitbewuste Evaluatie: Het introduceert een rigoureus kader voor het evalueren van door LLM's gegenereerde verdelingen op basis van besluitkwaliteit (concurrentie ratios) in plaats van statistische gelijkenis. Het biedt theoretische algoritmen om worst-case concurrentie ratios te berekenen voor specifieke operationele problemen.
3. Empirische Validatie: Het toont aan dat door LLM's gegenereerde verdelingen praktisch nuttig zijn in regimes met lage gegevens, vaak oninformatieve baselines overtreffen en concurreren met kleine real datasets. Cruciaal toont het aan dat hoog-trouw individuele simulatie geen voorwaarde is voor goede besluitvorming; het vangen van diversiteit op populatieniveau en structurele kenmerken is voldoende.

De auteurs concluderen dat hoewel LLM-SAA veelbelovend is, implementatie domeinspecifieke validatie en eerlijkheidsaudits vereist, omdat bevooroordeelde verdelingen kunnen leiden tot slechte of onfaire operationele beslissingen. Het werk vestigt een nieuwe benchmark voor het evalueren van LLM's in contexten van operationele besluitvorming.