🤖 AI

A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

Geïnspireerd door het CAP-theorema stelt dit artikel een trilemma voor voor Large Language Models, waarin wordt betoogd dat het onder semantische onderbepaaldheid onmogelijk is om tegelijkertijd sterke correctheid, strikte niet-bias en hoge bruikbaarheid te garanderen, aangezien het bereiken van besluitvorming het introduceren van niet-ondersteunde voorkeuren vereist die neutraliteit of correctheid ondermijnen.

Oorspronkelijke auteurs: Vinu Ellampallil Venugopal

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vinu Ellampallil Venugopal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kok bent in een drukke keuken. Een klant loopt binnen en zegt: "Maak me het beste diner mogelijk."

Het artikel waar je naar vraagt, suggereert dat Large Language Models (LLM's) — de slimme AI-chatbots die we vandaag de dag gebruiken — geconfronteerd worden met een driedubbele trek-krachtstrijd wanneer ze proberen vragen als die te beantwoorden. De auteur noemt dit een "CAP-achtig Trilemma", waarbij hij een idee uit de informatica (het CAP-theorema) leent en toepast op hoe AI denkt.

Hier is de eenvoudige uitleg van de drie dingen die de AI wil doen, en waarom het niet altijd alle drie tegelijk kan:

De Drie Doelen

Juistheid: Het antwoord moet logisch waar zijn, uitsluitend gebaseerd op de feiten die de gebruiker heeft gegeven.
Geen bias: De AI mag niet stiekem een favoriete optie kiezen, tenzij de gebruiker dat heeft gezegd.
Nuttigheid: Het antwoord moet behulpzaam, beslissend zijn en een duidelijke "ja" of "nee" geven.

Het Probleem: "Het Ontbrekende Recept"

De problemen ontstaan wanneer een gebruiker een vraag stelt waarbij de verstrekte feiten niet naar één enkel antwoord wijzen. De auteur noemt dit Semantische Ondeterminedheid.

Denk er zo over: Je vraagt de AI: "Wie moet de studiebeurs winnen? Student A heeft een gemiddelde van 9,5, en Student B heeft een gemiddelde van 4,0 maar heeft geld nodig voor eten."

De AI kijkt naar de feiten:

Feit 1: A heeft hoge cijfers.
Feit 2: B heeft grote financiële behoeften.

De feiten alleen zeggen niet wie wint. Om een winnaar te kiezen, heeft de AI een regel nodig (een recept).

Als de regel is "Hoogste cijfer wint", wint Student A.
Als de regel is "Grootste behoefte wint", wint Student B.

Maar de gebruiker heeft de regel niet gegeven. De prompt is "ondetermined" (het ontbreekt aan een stukje van de puzzel).

Het Trilemma: Je kunt er maar twee hebben

Het artikel betoogt dat wanneer de gebruiker de regel niet geeft, de AI geconfronteerd wordt met een onmogelijke keuze. Het kan maar twee van de drie doelen tegelijk vervullen:

Optie 1: Juist en Onbevooroordeeld zijn (maar Onbehulpzaam)
De AI zegt: "Ik kan niet beslissen. De feiten vertellen me niet of cijfers of geld belangrijker zijn. Vertel me welke regel ik moet gebruiken."

Juist? Ja. Het heeft geen regel verzonnen.
Onbevooroordeeld? Ja. Het heeft geen kant gekozen.
Behulpzaam? Nee. De gebruiker wilde een beslissing, en de AI vroeg gewoon om meer informatie. Het weigerde een duidelijk antwoord te geven.

Optie 2: Behulpzaam en Onbevooroordeeld zijn (maar Onjuist)
De AI zegt: "Student A is de beste keuze omdat ze een hoger gemiddelde heeft." (Of misschien zegt het dat B het beste is).

Behulpzaam? Ja. Het gaf een duidelijk antwoord.
Onbevooroordeeld? Nee. Door A te kiezen, besliste het stiekem dat "Cijfers" belangrijker zijn dan "Geld". Het introduceerde een regel die de gebruiker nooit heeft gegeven.
Juist? Nee. Uitsluitend gebaseerd op de verstrekte feiten is geen enkele student objectief het "juiste" antwoord. De AI heeft een rechtvaardiging verzonnen.

Optie 3: Juist en Behulpzaam zijn (maar Bevooroordeeld)
De AI zegt: "Student A is de winnaar."

Behulpzaam? Ja.
Juist? Alleen als je de regel "Cijfers zijn het belangrijkst" aanneemt. Maar aangezien de gebruiker dat niet heeft gezegd, liegt de AI technisch gezien over de logica. Het dwingt een regel op de situatie af.

Reële Voorbeelden uit het Artikel

De auteur gebruikt een paar scenario's om te laten zien dat dit niet alleen over wiskunde gaat:

Een Stad Kiezen: "Welke stad is beter: Bengaluru, Mumbai of Delhi?"
- Als de AI zegt "Bengaluru", neemt het stiekem aan dat je om techbanen geeft.
- Als het "Mumbai" zegt, neemt het aan dat je om financiën of entertainment geeft.
- Als het zegt "Het hangt ervan af", is het eerlijk (Juist/Onbevooroordeeld) maar misschien irritant (Lage Nuttigheid).
Bedrijfsbeslissingen: "Moet een bedrijf winst of werknemers belangrijk vinden?"
- Om er één te kiezen, moet de AI de waarden van het bedrijf raden. Als het "Winst" kiest, is het bevooroordeeld ten gunste van kapitalisme. Als het "Werknemers" kiest, is het bevooroordeeld ten gunste van sociaal welzijn. Als het zegt "Beide", liegt het misschien, omdat je niet altijd beide tegelijk kunt maximaliseren.

De Grote Conclusie

Het artikel zegt niet dat AI kapot is of dat we het niet meer moeten gebruiken. In plaats daarvan zegt het:

Soms, wanneer een AI weigert een recht antwoord te geven of zijn inzet dekt, is het niet lui of ontwijkend. Het probeert eerlijk te zijn.

Het probeert te voorkomen dat het een regel verzonnen die niet aan het is gegeven. De auteur suggereert dat we moeten accepteren dat in situaties waar de feiten vaag zijn, we moeten afwegen tussen het krijgen van een snel antwoord en het krijgen van een logisch perfect, onbevooroordeeld antwoord.

De beste oplossing die het artikel biedt, is dat de AI transparant moet zijn. In plaats van stiekem een regel te kiezen, moet het zeggen: "Als je cijfers waardeert, kies dan A. Als je behoeften waardeert, kies dan B. Aangezien je dat niet hebt gezegd, kan ik niet voor je kiezen." Dit geeft het ontbrekende stukje van de puzzel toe in plaats van het te verbergen.

Technische Samenvatting: Een CAP-achtig Trilemma voor Grootte Taalmodellen

Probleemstelling
Dit artikel identificeert een structurele spanning in de responsgeneratie van Grootte Taalmodellen (LLM's) die analoog is aan het CAP-theorema in gedistribueerde systemen. Waar het CAP-theorema stelt dat consistentie, beschikbaarheid en partitietolerantie niet gelijktijdig gegarandeerd kunnen worden tijdens netwerkperturbaties, betoogt dit werk dat LLM's een vergelijkbare onmogelijkheid ondervinden onder semantische onderbepaaldheid.

Een prompt wordt gedefinieerd als semantisch onderbepaald wanneer de beschikbare feiten, aannames en premissen ( $F_x$ ) onvoldoende zijn om logisch een uniek antwoord te impliceren. In dergelijke scenario's vragen gebruikersvragen (bijvoorbeeld "Welke kandidaat moet worden geselecteerd?" of "Welke stad is beter?") om een enkelvoudige beslissing, doch de premissen specificeren niet het beslissingscriterium dat nodig is om die keuze te rechtvaardigen. Het artikel stelt dat een LLM in deze contexten niet gelijktijdig drie wenselijke eigenschappen kan garanderen:

Sterke Correctheid ( $C_{strong}$ ): De output wordt strikt geïmpliceerd door de beschikbare premissen ( $F_x \models y$ ).
Strikte Niet-bias ( $NB_{strict}$ ): Het model privilegieert geen enkele kandidaat boven een andere, tenzij die voorkeur expliciet wordt gerechtvaardigd door $F_x$ . Bias wordt hier breed gedefinieerd als elke niet-ondersteunde selectievoorkeur, prioriteit of normatief criterium.
Beslissende Nuttigheid ( $U_{decisive}$ ): De respons biedt een concreet, actiegericht antwoord in plaats van te weigeren, te aarzelen of om verduidelijking te vragen.

Methodologie
Het artikel hanteert een formeel logisch kader om dit trilemma te articuleren, waarbij een directe analogie wordt getrokken met de Gilbert-Lynch formalisering van het CAP-theorema.

Formele Definities: De auteurs definiëren de verzameling premisse-compatibele antwoorden $S_x = \{a \in A \mid a \text{ is compatibel met } F_x\}$ . Een prompt is onderbepaald als $|S_x| > 1$ .
Logische Formulering: De kernhypothese wordt geformaliseerd als $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$ . Dit impliceert dat als een prompt onderbepaald is, het onmogelijk is om aan alle drie de voorwaarden gelijktijdig te voldoen.
Paarsgewijze Analyse: Het artikel analyseert de paarsgewijze afwegingen:
- $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$ : Om correct en onbevooroordeeld te blijven, moet het model weigeren of om verduidelijking vragen, wat de nuttigheid verlaagt.
- $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$ : Om nuttig en beslissend te zijn terwijl men neutraal blijft, kan het model niet-ondersteunde equivalenties presenteren die de correctheid verzwakken.
- $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$ : Om een correct, beslissend antwoord te geven, moet het model een selectiecriterium introduceren; indien dit criterium niet door de gebruiker wordt aangeleverd, fungeert het als een niet-ondersteunde bias.
Casestudies: De methodologie wordt geïllustreerd aan de hand van drie voorbeelden:
1. Beurzenselectie: Kies tussen studenten op basis van GPA en financiële behoefte zonder een gespecificeerde wegingsregel.
2. Subjectieve Aanbeveling: Rangschik steden op basis van niet-gespecificeerde gebruikersprioriteiten (bijvoorbeeld arbeidsmarkt versus veiligheid).
3. Normatieve Beslissing: Prioriteer winst versus welzijn van werknemers zonder een gedefinieerd ethisch kader.

Belangrijkste Bijdragen

De CAP-achtige Hypothese: De primaire bijdrage is de formulering van het "Correctheid–Niet-bias–Nuttigheid Trilemma". Dit verschuift de focus van het zien van LLM-fouten uitsluitend als modelbeperkingen (bijvoorbeeld hallucinaties of bias in trainingsdata) naar het erkennen ervan als structurele gevolgen van onderbepaalde beslissingsverzoeken.
Hernieuwde Definitie van Bias: Het artikel breidt de definitie van bias uit voorbij demografische of sociale vooroordelen tot "selectie-theoretische bias". In onderbepaalde settings vormt elk mechanisme dat een enkel antwoord selecteert uit meerdere geldige opties zonder expliciete gebruikersrechtvaardiging een bias.
Formalisatie van Weigering: Het werk herformuleert modelweigering of verzoeken om verduidelijking niet als falen in behulpzaamheid, maar als consistentiebehoudende strategieën die analoog zijn aan een gedistribueerd systeem dat een verzoek weigert tijdens een netwerkperturbatie om inconsistentie te voorkomen.
Ontwerpbeleidvoorstel: De auteurs stellen een praktisch beleid $\pi(x)$ $π (x)$ voor om deze afwegingen te beheren, waarbij wordt gesuggereerd dat modellen zouden moeten:
- Direct antwoorden als $|S_x| = 1$ .
- Om verduidelijking vragen als $|S_x| > 1$ en geen criterium wordt aangeleverd.
- Voorwaardelijke antwoorden bieden als meerdere criteria plausibel zijn.
- Aanbevelen met gestelde aannames als nuttigheid strikt een beslissing vereist.

Resultaten en Beweringen
Het artikel presenteert geen empirische experimentele resultaten, maar biedt een theoretisch bewijs door contradictie. Het toont aan dat voor elke onderbepaalde prompt met meerdere geldige antwoorden, het voldoen aan alle drie de eigenschappen leidt tot een logische contradictie.

Theoretisch Resultaat: Een beslissend antwoord ( $y \in S_x$ ) vereist de introductie van een waardenfunctie of criterium $\theta$ . Als $\theta$ niet in $F_x$ zit, is het antwoord niet sterk correct ( $F_x \not\models y$ ). Als $\theta$ verborgen is, is het antwoord bevooroordeeld. Als $\theta$ expliciet is maar het model weigert te kiezen, wordt de nuttigheid verlaagd.
Implicatie voor Alignering: Het artikel betoogt dat huidige inspanningen voor alignering, die waarheid, onschadelijkheid en behulpzaamheid vaak behandelen als onafhankelijk maximaliseerbare doelen, fundamenteel gebrekkig kunnen zijn in onderbepaalde contexten. Een "nuttig" antwoord vereist vaak een voorkeur, en een "neutraal" antwoord vereist vaak een weigering.

Beteekenis
Het artikel stelt dat het begrijpen van dit trilemma cruciaal is voor de volgende generatie LLM-alignering en implementatie.

Hernieuwde Kadering van Falen: Het suggereert dat veel waargenomen modelfouten structureel worden veroorzaakt door de aard van de prompt in plaats van modelonbekwaamheid.
Transparantie boven Neutraliteit: Het betoogt dat het doel niet moet zijn om de afweging te elimineren, maar om deze expliciet te maken. Modellen moeten "voorwaardelijke correctheid" en "transparante niet-bias" (het openbaren van de gebruikte aannames) prioriteren boven "beslissende nuttigheid" wanneer premissen ontoereikend zijn.
Systeemimpact: Aangezien fundamentele modellen worden ingezet in hoog-risico downstream-taken, is het erkennen dat een "evenwichtig" antwoord eigenlijk een niet-ondersteunde gelijkheidsclaim kan zijn, vitaal voor het voorkomen van de verspreiding van verborgen normatieve kaders.

Concluderend stelt het artikel dat aligneringstrategieën moeten evolueren om te bestuderen hoe correctheid, niet-bias en nuttigheid onderling afwegen onder semantische onderbepaaldheid, in plaats van te proberen ze onafhankelijk te maximaliseren.