Technische Samenvatting: Het Afstemmen van LLM's op Menselijke Onzekerheid via een Beta-Bernoulli Calibrator

Probleemstelling

Probabilistische voorspelling is cruciaal voor besluitvorming in domeinen variërend van economie tot nationale veiligheid. Hoewel Large Language Models (LLM's) uitgebreide kennis en redeneervermogens bezitten, hebben ze vaak moeite om beter te presteren dan getalenteerde menselijke forecasters. Bestaande methoden om de voorspelling van LLM's te verbeteren, vertrouwen doorgaans op supervised fine-tuning (SFT) of reinforcement learning (RL) met gebruik van binaire uitkomsten (bijvoorbeeld of een gebeurtenis heeft plaatsgevonden of niet). Deze benaderingen staan echter voor aanzienlijke beperkingen: ze zijn hulpbronnenintensief, vaak niet toepasbaar op black-box modellen, en slagen er niet in om de rijke informatie die in menselijke voorspellingen zit te benutten. Specifiek bieden menselijke voorspellingen niet alleen een geaggregeerde probabiliteitsschatting, maar ook een mate van consensus (overeenstemming) onder forecasters, wat waardevolle signalen codeert over menselijk sentiment en epistemische onzekerheid. Huidige methoden negeren deze distributieve informatie grotendeels en richten zich in plaats daarvan op punt-schattingen of verbaal uitgedrukte betrouwbaarheidsscores, waarvan is aangetoond dat deze te zelfverzekerd en ruisachtig zijn.

Methodologie: De Beta-Bernoulli Calibrator (BBC)

De auteurs stellen de Beta-Bernoulli Calibrator (BBC) voor, een lichtgewicht, model-agnostisch post-hoc kalibratiekader. In tegenstelling tot methoden die proberen de onderliggende LLM te fine-tunen, fungeert de BBC als een apart, kleiner model dat de initiële verbaal uitgedrukte voorspelling van elke invoer-LLM verfijnt.

Kernkader

Het kader modelleert de latente gebeurtenisprobabiliteit $p$ als een stochastische variabele getrokken uit een Beta-verdeling, $p \sim \text{Beta}(\alpha, \beta)$, en de waargenomen binaire uitkomst $y$ als een realisatie uit een Bernoulli-proef, $y \sim \text{Bernoulli}(p)$.

• Invoer: De calibrator neemt een voorspellingsvraag ($x_i$) en een initiële verbaal uitgedrukte puntvoorspelling ($\hat{p}^{init}_i$) van een invoer-LLM.
• Uitvoer: In plaats van een enkele probabiliteit uit te geven, voorspelt de calibrator de parameters van een Beta-verdeling (of een mengsel van $K$ Beta-verdelingen voor flexibiliteit).
  • Het gemiddelde van de voorspelde verdeling dient als de gekalibreerde puntvoorspelling: $\hat{p}_i = \mathbb{E}[p_i] = \frac{\hat{\alpha}_i}{\hat{\alpha}_i + \hat{\beta}_i}$.
  • De variantie dient als maatstaf voor epistemische onzekerheid: $\hat{u}_i = \text{Var}[p_i]$.

Trainingsdoel

De calibrator wordt getraind met behulp van een samengestelde verliesfunctie $\mathcal{L}_{total} = \mathcal{L}_{binary} + \mathcal{L}_{human}$:

1. Supervisie op Binaire Uitkomst ($\mathcal{L}_{binary}$): Het model leert van de gerealiseerde binaire uitkomst ($y_i \in \{0, 1\}$). De auteurs tonen aan dat het maximaliseren van de likelihood van de binaire uitkomst onder het Beta-Bernoulli-model wiskundig equivalent is aan het minimaliseren van de Binary Cross-Entropy (BCE)-verliesfunctie met betrekking tot het gemiddelde van de verdeling. Dit zorgt ervoor dat het model leert de ware probabiliteit te voorspellen.
2. Supervisie op Menselijke Voorspelling ($\mathcal{L}_{human}$): Om het identificeerbaarheidsprobleem aan te pakken (waarbij verschillende Beta-verdelingen hetzelfde gemiddelde en BCE-verlies kunnen opleveren) en om de vorm van de verdeling te vangen, wordt het model gesuperviseerd door menselijke voorspellingen. De auteurs behandelen menselijke voorspellingen als ruisachtige steekproeven uit de ware latente verdeling. Ze construeren een histogram van menselijke voorspellingen en minimaliseren de Kullback-Leibler (KL) Divergentie tussen dit histogram en de voorspelde Beta- (of mengsel van Beta-) verdeling. Dit stelt het model in staat om de "consensus" en de onzekerheid die inherent is aan de menigte te leren.

Architectuur

De calibrator is geïmplementeerd als een klein taalmodel (bijvoorbeeld Llama-3.2-1B) met een Multi-Layer Perceptron (MLP)-hoofd. Het codeert de invoer tekst en de initiële voorspelling, en voorspelt vervolgens de Beta-parameters. Dit ontwerp zorgt ervoor dat de methode computatie-efficiënt is en op elke black-box LLM kan worden toegepast zonder toegang tot de interne gewichten of representaties.

Belangrijkste Bijdragen

1. Beta-Bernoulli Calibrator: Een lichtgewicht, model-agnostische methode die puntvoorspellingen omzet in distributies over gebeurteniskans, waarbij effectief zowel aleatorische (inherent toeval) als epistemische (modelonzekerheid) onzekerheid wordt vastgelegd.
2. Mensen als Distributieve Supervisie: Het artikel introduceert een nieuwe aanpak waarbij distributies van menselijke voorspellingen (geaggregeerd van platformen zoals Metaculus en Polymarket) worden gebruikt als supervisiessignaal. Dit biedt informatie die verder gaat dan binaire uitkomsten, specifiek met betrekking tot de vorm van de probabiliteitsverdeling en de mate van consensus onder forecasters.
3. Epistemische Onzekerheid als Predictor: De auteurs tonen aan dat de variantie van de voorspelde Beta-verdeling een betrouwbaardere predictor is van voorspellingsfouten dan verbaal uitgedrukte betrouwbaarheidsscores die door LLM's worden verstrekt.

Experimentele Resultaten

Het kader werd geëvalueerd op datasets van Metaculus en Polymarket, met out-of-distribution (OOD) testen op Kalshi.

• Prestaties versus Baselines: De BBC presteerde consequent beter dan traditionele post-hoc kalibratiemethoden (Platt Scaling, Isotonic Regression) en modellen die specifiek voor voorspelling zijn gefine-tuned (bijvoorbeeld OpenForecaster-8B, Future-as-a-label-32B).
  • Op de testset verlaagde de BBC de Brier-score met ongeveer 14,4% in vergelijking met verbaal uitgedrukte baselines (bijvoorbeeld van 0,146 naar 0,125 voor Claude-Sonnet-4) en verbeterde de AUC van 72,3% naar 74,2%.
  • De BBC bereikte een betere kalibratie (lagere Expected Calibration Error) en sterkere discriminatie (hogere AUC) dan gefine-tuned modellen, wat suggereert dat een lichtgewicht calibrator een efficiënter alternatief is voor volledige model-fine-tuning.
• Impact van Menselijke Supervisie: Een vergelijking tussen "BBC (alleen binaire)" en "BBC (binaire + menselijk)" toonde aan dat het opnemen van distributies van menselijke voorspellingen consequent de Brier-scores en AUC verbeterde. De KL-divergentie tussen de voorspelde verdeling en menselijke voorspellingen nam af, wat aangeeft dat het model beter aansloot bij menselijke overtuigingen.
• Epistemische Onzekerheid: Analyse toonde aan dat de variantie van de Beta-verdeling sterk correleerde met voorspellingsfouten (Brier-score). Daarentegen waren verbaal uitgedrukte betrouwbaarheidsscores ruisachtig en vaak niet gecorreleerd met de daadwerkelijke prestaties.
• Generalisatie: De calibrator toonde robuuste generalisatie naar de OOD Kalshi-dataset, waarbij het sterke prestaties behield waar traditionele kalibratiemethoden faalden.
• Efficiëntie: Experimenten bevestigden dat een calibrator met 1 miljard parameters voldoende is om voorspellingen van veel grotere modellen (bijvoorbeeld 70B parameters) effectief te verfijnen, wat de computatie-efficiëntie van de benadering benadrukt.

Betekenis en Claims

Het artikel claimt dat de Beta-Bernoulli Calibrator een aanzienlijke vooruitgang biedt in LLM-voorspelling door:

1. De Kloof te Overbruggen: Het maakt effectief gebruik van de "wijsheid van de menigte", niet alleen als punt-schatting, maar als een distributief signaal om onzekerheid te modelleren, waarmee een gat in de huidige literatuur over LLM-voorspelling wordt gedicht.
2. Model-Agnosticisme: Door te opereren als een post-hoc calibrator, maakt het de kalibratie van elke LLM mogelijk (inclusief proprietaire black-box modellen) zonder de noodzaak van dure fine-tuning of toegang tot interne staten.
3. Betrouwbare Kwantificering van Onzekerheid: Het biedt een principiële manier om epistemische onzekerheid te schatten die voorspellend is voor fouten, en gaat voorbij aan de onbetrouwbare zelfgerapporteerde zekerheid van LLM's.
4. Complementariteit: De methode wordt gepresenteerd als complementair aan bestaande technieken; het kan worden toegepast bovenop modellen die al voor voorspelling zijn gefine-tuned om verdere prestatiewinst te behalen.

De auteurs concluderen dat hoewel menselijke forecasters nog steeds superieur zijn aan huidige LLM's, het BBC-kader deze kloof aanzienlijk verkleint door menselijke consensusignalen te benutten om modelovertuigingen te kalibreren, en zo een schaalbare en efficiënte weg biedt naar betrouwbaardere AI-voorspelling.