Technische Samenvatting: Kunnen Geopenbaarde Voorkeuren LLM-uitlijning en Sturing Verduidelijken?

Probleemstelling

Naarmate Large Language Models (LLM's) overgaan van het beantwoorden van vragen naar het ondersteunen van beslissingen met hoge risico's onder onzekerheid (bijvoorbeeld medische diagnose), hangt uitlijning niet alleen af van feitelijke nauwkeurigheid, maar ook van hoe modellen impliciet afwegingen tussen verschillende uitkomsten wegen. Huidige evaluatiemethoden vertrouwen vaak op statische nauwkeurigheid of heuristische beoordelingen van bias, waardoor ze niet in staat zijn om de onderliggende overtuigingen en voorkeuren die consequente acties aandrijven, rigoureus te karakteriseren. Specifiek blijft het onduidelijk of LLM's zich gedragen als coherente, doelgerichte agenten, of dat hun gestelde doelen overeenkomen met hun daadwerkelijke beslissingsbeleid, en of expliciete gebruikersinstructies (sturing) die beleidslijnen betrouwbaar kunnen veranderen.

Methodologie

De auteurs stellen een empirische pijplijn voor die gebaseerd is op beslissingstheorie en analyse van geopenbaarde voorkeuren om de impliciete nutmodellen van LLM's af te leiden. Het kader behandelt de LLM als een agent die keuzes maakt in een statistisch beslissingsprobleem en verloopt in drie fasen:

1. Elicitatie van Overtuigingen en Acties:

   • Overtuigingen: Voor een gegeven beslissingstaak met context $x$ wordt het model gevraagd een subjectieve waarschijnlijkheidsverdeling $P^E(\theta | x)$ te rapporteren over de latente toestand $\theta$ (bijvoorbeeld de waarschijnlijkheid dat een patiënt een ziekte heeft).
   • Acties: Het model wordt gevraagd een beslissing $a \in \mathcal{A}$ te nemen (bijvoorbeeld diagnosticeren, niet diagnosticeren, of uitstellen) op basis van dezelfde context.
   • Zelfrapportages: Het model wordt ook gevraagd om mondeling de verliesfunctie (kosten van vals-positieven, vals-negatieven en uitstel) te beschrijven die het van plan is te gebruiken, zowel globaal als voor specifieke gevallen.

2. Schatting van de Verliesfunctie (Geopenbaarde Voorkeuren):

   • Met behulp van de geëliciteerde overtuigingen en waargenomen acties passen de auteurs een discrete-keuzemodel toe (specifiek een multinomiale logit-model) om de parameters van de verliesfunctie $\hat{c}$ te herstellen die het waargenomen gedrag het beste rationaliseren.
   • De verliesfunctie wordt geparametriseerd als $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$.
   • De analyse richt zich op de verhoudingen van deze kosten (bijvoorbeeld $c_{FN}/c_{FP}$), die geïdentificeerd zijn zelfs als de absolute schaal dat niet is.

3. Evaluatiemetrics:

   • Consistentie (ILFC): Het percentage gevallen waarin de gerealiseerde beslissing van het model overeenkomt met de optimale beslissing die is afgeleid uit de combinatie van de geëliciteerde overtuigingen en de herstelde verliesfunctie.
   • Veridicaliteit: Een vergelijking tussen de door het model zelf gerapporteerde kostenverhoudingen en de schattingen op basis van geopenbaarde voorkeuren.
   • Sturingsanalyse: De pijplijn test of het prompten met specifieke verliesfuncties of grondwaarheids-waarschijnlijkheden de impliciete voorkeuren van het model in de richting van het doel verschuift.
   • Contraverte Voorspelling: De auteurs simuleren een rationele agent met behulp van de herstelde overtuigingen en voorkeuren om het voordeel van interventies te voorspellen (bijvoorbeeld "Wat zou de verliesreductie zijn als we de overtuigingen van het model corrigeerden?"). Deze voorspellingen worden vergeleken met de daadwerkelijke gerealiseerde verliesreductie na prompting.

Belangrijkste Bijdragen

1. Een Kader voor het Afleiden van Impliciete Nutten: Het artikel introduceert een gestructureerde procedure om overtuigingen en beslissingen afzonderlijk te eliciteren, schat vervolgens een verliesfunctie die het gedrag rationaliseert, en gaat hiermee voorbij aan statische nauwkeurigheid naar beslissingstheoretische uitlijning.
2. Rigoureuze Consistentietests: De auteurs bieden een methode om te testen of modellen zich gedragen als coherente, doelgerichte agenten door waargenomen beslissingen te vergelijken met het optimale beleid dat wordt geïmpliceerd door hun eigen overtuigingen en herstelde voorkeuren.
3. Evaluatie van Zelfrapportage en Sturing: Het kader test of modellen hun doelen getrouw kunnen verwoorden en of prompting hun beslissingsbeleid succesvol kan sturen om door de gebruiker gespecificeerde verliesfuncties te implementeren.
4. Contraverte Decompositie: De auteurs demonstreren hoe geopenbaarde voorkeuren de effectiviteit van interventies kunnen voorspellen, en onderscheid maken tussen veranderingen die worden gedreven door updates van overtuigingen versus verschuivingen van voorkeuren.

Experimentele Opzet en Resultaten

De pijplijn werd toegepast op vier domeinen voor klinische diagnose (structurele hartziekten, diabetes, kinderkoorts en huilen van baby's) met behulp van vier frontier- en open-source modellen (GPT-5 Thinking High/Minimal, DeepSeek R1 671B, Llama-4 Scout 17B).

• Interne Coherentie: Modellen vertonen een "substantieel maar imperfect" niveau van interne consistentie. Wanneer overtuigingen en herstelde voorkeuren worden gecombineerd, verklaren ze een groot deel van de beslissingen (bijvoorbeeld tot 99% consistentie voor GPT-5-High met ware waarschijnlijkheden), aanzienlijk beter dan zelf gerapporteerde voorkeuren.
• Getrouwe Rapportage: Modellen hebben moeite om de verliesfunctie die hun beslissingen verklaart, nauwkeurig te beschrijven. Zelf gerapporteerde kostenverhoudingen wijken vaak significant af van geopenbaarde voorkeuren (bijvoorbeeld: modellen overdrijven vaak de kosten van vals-negatieven ten opzichte van vals-positieven in hun mondelinge rapporten in vergelijking met hun daadwerkelijke keuzes).
• Stuurbaarheid:
  • Prompting met Verliesfuncties: Het expliciet specificeren van kostenverhoudingen in prompts verschuift de impliciete voorkeuren in de juiste richting ten opzichte van de baseline, maar de verschuiving is heterogeen. Modellen schieten vaak onder, schieten over, of bewegen zich soms in de verkeerde richting.
  • Prompting met Wahrscheinlijkheden: Het verstrekken van grondwaarheids-waarschijnlijkheden werkt niet simpelweg als het bijwerken van overtuigingen terwijl de voorkeuren vast blijven. In plaats daarvan verandert het de impliciete verliesfunctie (voorkeuren) van het model, wat suggereert dat prompts die op één component van besluitvorming zijn gericht, neveneffecten hebben op andere componenten.
• Contraverte Validiteit: De decompositie op basis van geopenbaarde voorkeuren voorspelt succesvol de voordelen van prompting met verliesfuncties (hoge correlatie tussen voorspelde en gerealiseerde verliesreductie). Het faalt echter om de voordelen van probabilistische prompting te voorspellen, tenzij ook de verandering in de impliciete verliesfunctie wordt meegewogen.

Betekenis en Claims

Het artikel beweert dat geopenbaarde voorkeuren een nauwkeuriger en rigoureuzer hulpmiddel bieden voor het evalueren van de transparantie en stuurbaarheid van LLM-besluitvorming dan huidige heuristische methoden.

• Beperkingen van Zelfrapportage: De resultaten suggereren dat verbaal geformuleerde doelen onbetrouwbare beschrijvingen zijn van operationele beslissingsbeleid. Vertrouwen op zelfrapportage voor verificatie van uitlijning is onvoldoende.
• Uitdagingen bij Sturing: Hoewel modellen gestuurd kunnen worden, adopteren ze niet getrouw door de gebruiker gespecificeerde doelen. De "black box"-aard van hun interne afwegingen betekent dat zelfs met expliciete instructies modellen mogelijk niet de gewenste verliesfunctie implementeren, en prompting kan onbedoelde verschuivingen in voorkeuren veroorzaken.
• Nuttigheid van het Kader: De voorgestelde methodologie stelt onderzoekers in staat om beslissingsfouten toe te schrijven aan ofwel feitelijke fouten in overtuigingen ofwel niet-uitgelijnde voorkeuren, en biedt een gestructureerde manier om AI-uitlijning in domeinen met hoge risico's te diagnosticeren en potentieel te verbeteren.

De auteurs benadrukken dat hun technieken waarneembaar gedrag beschrijven binnen een black-box-kader en niet claimen interne mechanismen te onthullen, maar dat ze een fundament bieden voor de overgang van informele claims over doelvervolging naar empirisch toetsbare onderbouwing.