Technische Samenvatting: Onzekerheidsbewuste Generatie en Besluitvorming onder Ambiguïteit

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet in hoogwaardige, subjectieve domeinen zoals geautomatiseerd bijlesonderwijs en peer review. In deze omgevingen bevatten taken vaak meerdere beslissingsstappen (bijv. het identificeren van een fout van een student, het selecteren van een bijlesstrategie en het genereren van een reactie) en vertonen ze een hoge mate van ambiguïteit. Menselijke experts zijn het vaak oneens over de "correcte" strategie of score voor een gegeven input, wat leidt tot aanzienlijke onzekerheid.

Huidige algoritmen voor besluitvorming door LLM's falen vaak omdat ze deze ambiguïteit niet expliciet modelleren of statistische garanties bieden. Standaard benaderingen, zoals eenvoudige sampling of Minimum Bayes Risk (MBR) decoding die output-strings direct vergelijkt, houden geen rekening met onzekerheid over intermediaire toestanden (bijv. de specifieke bijlesstrategie of reviewscore). Bijgevolg kunnen deze methoden fouten voortplanten, er niet in slagen om plausibele beslissingsbereiken te verfijnen en ontbreekt het hen aan de statistische betrouwbaarheid die vereist is voor vertrouwentwaardige inzet.

Methodologie

De auteurs stellen een framework voor dat Bayesiaanse besluittheorie en conformal prediction integreert om onzekerheidsbewuste generatie- en besluitvormingsalgoritmen te creëren. Het kernbesluitvormingsprobleem behelst het selecteren van een output $y^*$ (bijv. een review of bijlesreactie) uit een beslisruimte $V^*$, gegeven een context $x$ en een discrete verzameling toestanden $\Omega$ (bijv. bijlesstrategieën of reviewscores).

1. Bayesiaanse Beslisregel

De primaire benadering maximaliseert de verwachte utiliteit over de distributie van toestanden $p(\omega | x)$. De optimale output $y^*$ wordt gedefinieerd als:
$$y^* = \arg \max_{y \in V^*} \sum_{\omega \in \Omega} u(y, \omega) \cdot p(\omega | x)$$
waarbij $u(y, \omega)$ een utiliteitsfunctie is die kwaliteit en consistentie-criteria codeert. In tegenstelling tot standaard MBR, dat output-strings vergelijkt, marginaliseert deze methode over de toestandsruimte $\Omega$. Om de maximalisatie in de oneindige ruimte van $V^*$ aan te pakken, benaderen de auteurs de maximalisatie door een set $H$ van kandidaat-outputs te samplen en de ene te selecteren die de verwachte utiliteit over de toestandsdistributie maximaliseert.

2. Conformal Prediction voor State Pruning

Om de computationele kosten van het sommeren over alle toestanden aan te pakken en om statistische garanties te bieden, maken de auteurs gebruik van conformal prediction. Deze techniek construeert een voorspellingsset $C(x) \subseteq \Omega$ die de ware toestand dekt met een waarschijnlijkheid van ten minste $1-\alpha$.

• Omgang met Ambiguïteit: In het besef dat standaard conformal prediction uitgaat van een enkele grondwaarheid (wat geschonden wordt in ambigue taken), gebruiken de auteurs Monte-Carlo conformal prediction. Dit maakt het mogelijk om meerdere plausibele labels (strategieën of scores) in overweging te nemen, waardoor de theoretische dekking wordt verbreed naar $1-2\alpha$, maar in de praktijk vaak nauwere grenzen bereikt.
• Pruning: De voorspellingsset $C(x)$ wordt gebruikt om de toestandsruimte te verfijnen (pruning) in de Bayesiaanse doelstelling, waardoor de som wordt beperkt tot enkel plausibele toestanden:
  $$y^* = \arg \max_{y \in V^*} \sum_{\omega \in C(x)} u(y, \omega) \cdot p(\omega | x)$$

3. Risico-averse Besluitvorming

De auteurs evalueren ook een risico-averse strategie (minimax) die de utiliteit van de slechtst denkbare toestand binnen de conformal set maximaliseert:
$$y^* = \arg \max_{y \in V^*} \min_{\omega \in C(x)} u(y, \omega)$$
Deze benadering heeft tot doel het genereren van kwalitatief slechte outputs te voorkomen door te optimaliseren voor het meest ongunstige plausibele scenario.

Experimentele Opzet

De methoden werden geëvalueerd op twee taken:

• Peer Review: Het genereren van reviews en scores voor papers van de Review-5K en NLPEER datasets. De modellen omvatten Gemma-3-27B, Qwen3-30B en Mistral-3.2-24B. Een gefinetunede Llama-3.2-3B werd gebruikt om de scoreverdeling $p(\omega | x)$ te voorspellen.
• Bijlesonderwijs (Tutoring): Het genereren van bijlesreacties voor de MathDial dataset met het TutorRL-7B model. Strategieën (Focus, Probing, Telling, Generic) werden voorspeld door een gefinetunede Llama-3.2-3B.

Utiliteit werd geschat via LLM-as-a-judge benaderingen (Qwen3-14B voor reviews, een reward model voor bijlesonderwijs) met 5-punts Likert-schalen.

Belangrijkste Resultaten

• Verbeteringen door Bayesiaanse regels: De Bayesiaanse beslisregel verbeterde de utiliteit van gegenereerde outputs consequent ten opzichte van standaard ancestral sampling in beide domeinen. In peer review verbeterde het specifiek de "actiegerichtheid" (actionability). In bijlesonderwijs verbeterde het de scalaire reward-metriek.
• Conformal Pruning: Het gebruik van conformal prediction om de toestandsruimte te verfijnen behield de prestaties terwijl het het aantal vereiste utiliteitsestimaties aanzienlijk verminderde (tot wel ~50% compressie in review-taken).
• Beperkingen van Risico-averse Strategieën: De minmax (risico-averse) strategie toonde gemengde resultaten. Hoewel het goed presteerde in sommige review-criteria, verslechterde het vaak de prestaties in bijlesonderwijs. De auteurs wijten dit aan het feit dat de strategie optimaliseert voor "generieke" of "vertellende" (telling) strategieën wanneer deze frequent voorkomen in de conformal sets, wat effectief de kwaliteit van de output verlaagt om aan de worst-case beperking te voldoen.
• Schaalbaarheid: Het vergroten van de samplegrootte $|H|$ verbeterde consequent de prestaties van de Bayesiaanse regel. Omgekeerd verslechterde de prestatie van de minmax-regel naarmate $|H|$ toenam, waarschijnlijk door interacties met bredere voorspellingssets in ambigue taken.
• Modelgevoeligheid: Qwen3 vertoonde andere prestatiekenmerken vergeleken met Gemma en Mistral, wat suggereert dat post-training doelstellingen invloed hebben op hoe goed deze modellen uitlijnen met specifieke utiliteitscriteria.

Betekenis en Claims

Het artikel beweert een methode te schetsen voor het verbeteren van de besluitvorming door LLM's in ambigue, hoogwaardige domeinen door onzekerheid over intermediaire toestanden expliciet te modelleren. De betekenis van het werk ligt in:

1. Brug tussen Theorie en Praktijk: Het demonstreert hoe het combineren van Bayesiaanse besluittheorie met conformal prediction kan leiden tot real-world doelen zoals statistische garanties en hoge utiliteit, zelfs wanneer de onderliggende toestandsverdeling ambigu is.
2. Omgang met Ambiguïteit: Het benadrukt dat standaard beslisregels falen wanneer de variatie in menselijke labels hoog is en stelt specifieke technieken voor (Monte-Carlo conformal prediction) om meerdere plausibele grondwaarheden te behandelen.
3. Oproep tot Actie voor de Community: De auteurs benadrukken dat huidige LLM's vaak moeite hebben met categorische voorspellingstaken (zoals scorevoorspelling) en dat bestaande datasets een tekort aan meerdere annotaties voor dezelfde input hebben. Ze roepen de community op om zich te richten op het verzamelen van multi-label data, het ontwikkelen van betere LLM-judges en het creëren van modellen die de plausibele menselijke diversiteit in besluitvorming weerspiegelen.

De auteurs hanteren een bescheiden houding en merken op dat hun methoden bedoeld zijn om menselijke reviewers en docenten te ondersteunen, in plaats van het peer review proces te automatiseren of menselijk oordeel te vervangen. Ze erkennen beperkingen met betrekking tot data leakage (modellen kunnen trainingsdata hebben gezien) en het gebrek aan real-world veldstudies om de langetermijnimpact te meten.