🤖 AI

In-Context Credit Assignment via the Core

Dit artikel stelt een prikkels-uitgelijnd mechanisme voor voor credit-toewijzing in context, gebaseerd op de least core-oplossing uit de coöperatieve speltheorie, en introduceert efficiënte algoritmen die een eerlijke waardeverdeling onder contentmakers benaderen met aanzienlijk minder LLM-aanroepen dan bestaande methoden.

Oorspronkelijke auteurs: Keegan Harris, Siddharth Prasad, Asher Trockman

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Keegan Harris, Siddharth Prasad, Asher Trockman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij en een groep vrienden besluiten om samen een enorme, ingewikkelde taart te bakken. Iedereen brengt verschillende ingrediënten mee: de een brengt bloem, de ander eieren, een derde brengt een geheim familierecipe en een vierde brengt de verfijnde glazuur. Wanneer de taart klaar is en verkocht wordt, levert het veel geld op.

De grote vraag is: Hoe verdelen jullie het geld?

Als jullie het gewoon gelijk verdelen, kan de persoon die het geheime recipe bracht zich benadeeld voelen. Als jullie verdelen op basis van wie het hardst schreeuwde, kan de persoon die de eieren bracht zich genegeerd voelen. Dit is het probleem van "toewijzing van krediet".

Dit artikel behandelt een moderne versie van dit taartprobleem, maar dan gaat het niet om vrienden, maar om AI en het internet.

Het Probleem: De AI-"Smoothie"

Tegenwoordig gedragen AI-modellen (zoals die code schrijven of video's maken) zich vaak als een blender. Je stelt een vraag, en de AI pakt informatie van vele verschillende websites, artikelen en makers om een "smoothie"-antwoord te maken.

De Makers: De mensen die de oorspronkelijke artikelen of code schreven.
De AI: De blender die hun werk mixt.
De Beloning: Het geld of de aandacht die de AI krijgt voor het uiteindelijke antwoord.

Het probleem is: Wie verdient het meeste krediet? Als de AI een vraag beantwoordt met behulp van 10 verschillende websites, en één daarvan had het enige cruciale feit, dan moet die ene website het meeste krediet krijgen. Maar als de AI gewoon willekeurige ruis pakte, dan moet niemand veel krediet krijgen.

De Oplossing: De "Kleinste Kern" (De Rechtvaardigheidsregel)

De auteurs stellen een wiskundige regel voor, de "Kleinste Kern", om dit op te lossen.

Stel je de "Kern" voor als een set regels voor het verdelen van het geld waarbij geen enkele groep vrienden kan zeggen: "Hé, wij hadden samen een betere taart kunnen bakken zonder jou, dus wij verdienen meer!"

Het Doel: Een verdeling vinden waarbij elke mogelijke groep makers (zelfs maar twee van hen) het gevoel heeft dat ze minstens zoveel krijgen als ze hadden kunnen verdienen als ze zonder de anderen hadden samengewerkt.
Het "Kleinste" Deel: Soms is het wiskundig onmogelijk om iedereen perfect tevreden te stellen. De "Kleinste Kern" vindt daarom de verdeling waarbij de boosste groep zo tevreden mogelijk is. Het minimaliseert het maximale niveau van "onrechtvaardigheid" dat iemand voelt.

De Uitdaging: Te Veel Combinaties

De wiskunde wordt lastig omdat er bij $N$ makers $2^N$ mogelijke groepen zijn die je kunt vormen. Als je 30 websites hebt, zijn er meer dan een miljard mogelijke groepen om te controleren. Je kunt een AI niet vragen om elke enkele groep te controleren; het zou eeuwig duren en een fortuin aan rekenkracht kosten.

De Innovatie: De "Slimme Detective"

De auteurs bedachten een nieuwe manier om dit op te lossen zonder elke enkele groep te controleren. Ze gebruiken een techniek genaamd Constraint Generation, die ze beschrijven met twee belangrijkste hulpmiddelen:

Het "Zaden" (De Warme Start): In plaats van vanaf nul te beginnen, vragen ze de AI: "Hé, welke kleine groepen websites denk jij het belangrijkst zijn om deze vraag te beantwoorden?" Dit geeft hen een voorsprong, alsof je in een mysterie de meest waarschijnlijke verdachten gokt voordat je iedereen onderzoekt.
De "Scheidingsorakel" (De Detective): Dit is een slimme truc. In plaats van elke groep te controleren, vragen ze de AI: "Is er ENIGE groep websites die momenteel te weinig betaald krijgt in vergelijking met wat ze alleen hadden kunnen verdienen?"
- Als de AI "Nee" zegt, zijn ze klaar! Ze hebben een eerlijke verdeling gevonden.
- Als de AI "Ja, die groep is ongelukkig" zegt, voegen ze die specifieke groep toe aan hun lijst en berekenen ze de verdeling opnieuw.

Ze ontdekten dat het gebruik van de AI zelf als "Detective" (om de ongelukkige groepen te vinden) ongelooflijk snel is. Het is alsof je een detective hebt die de stad zo goed kent dat hij direct de misdaad kan opsporen, in plaats van elke straat af te lopen op zoek naar aanwijzingen.

De Resultaten: Snel en Eerlijk

Het team testte dit op een taak waarbij een AI vragen moest beantwoorden met informatie van vele verschillende webpagina's.

Oude Manier (Willekeurige Steekproeven): Eerdere methoden probeerden het antwoord te raden door willekeurig groepen te controleren. Het was traag en vereiste duizenden dure AI-checks.
Nieuwe Manier (De "Detective"-methode): Hun nieuwe methode vond een eerlijke verdeling met 10 tot 100 keer minder AI-checks.

Ze ontdekten ook dat als ze de AI gebruikten om aan het begin de "belangrijkste" groepen te raden (Zaden), het systeem nog sneller werd, hoewel het soms iets minder precies was. Maar over het algemeen was het een enorme winst voor snelheid.

Waarom Dit Belangrijk Is

Dit artikel lost niet alleen een wiskundig raadsel op; het biedt een manier om makers eerlijk te betalen in het tijdperk van AI. Als een AI je artikel gebruikt om een vraag te beantwoorden, biedt dit systeem een manier om precies te berekenen hoeveel krediet (en potentieel geld) je verdient, zonder dat je elke mogelijke combinatie van het internet hoeft te controleren. Het zorgt ervoor dat de "blender" (de AI) niet zomaar het hele krediet voor de hele taart opeist terwijl de leveranciers van ingrediënten niets krijgen.

Kortom: Ze bouwden een snelle, eerlijke en wiskundig onderbouwde manier om de taart te verdelen onder al de mensen wiens werk in het antwoord van een AI is verwerkt, waarbij ze de AI zelf gebruiken om de eerlijkste verdeling te vinden.

Technische Samenvatting: In-Context Credit Assignment via de Core

Probleemstelling

Het artikel adresseert de uitdaging van in-context credit assignment voor door AI gegenereerde inhoud. Aangezien generatieve AI-tools (bijvoorbeeld LLM's voor webzoekopdrachten, tekst-naar-video-modellen) intellectueel eigendom (IE) van meerdere makers steeds vaker synthetiseren binnen het contextvenster van een model, is er behoefte aan een economische verdeling van de waarde die door de uiteindelijke output wordt gegenereerd, onder de oorspronkelijke makers.

De kernvraag is: Wat is een economisch onderbouwde en computationeel hanteerbare manier om credit toe te kennen voor door AI gegenereerde inhoud onder een set makers wiens IE verschijnt in het contextvenster van het model?

De auteurs modelleren dit als een coöperatief spel waarbij makers coalities vormen om waarde te genereren. Het doel is een waardeverdelingsplan (toewijzing) te vinden dat de prikkels voor makers respecteert. Specifiek streeft het artikel naar het minimaliseren van het "tekort"—het bedrag waarmee een subset van makers ondercompensatie lijdt ten opzichte van de waarde die ze onafhankelijk zouden kunnen genereren.

Methodologie

1. Speltheoretische Formulering

Het probleem wordt geformuleerd in de taal van de coöperatieve speltheorie met een set makers $N$ en een waardenfunctie $v: 2^N \to [0, 1]$ .

De Core: Idealiter ligt een toewijzing in de "core", waarbij geen enkele coalitie minder ontvangt dan haar standalone-waarde. De core is echter vaak leeg.
De Least Core: De auteurs stellen de least core voor als het oplossingsconcept. Dit is de verzameling van toewijzingen die de maximale ondercompensatie ( $\epsilon$ ) over alle mogelijke coalities minimaliseert.
Geschatte Least Core: Aangezien de grondwaarheid-beloningsfunctie $v$ niet waarneembaar is, werken de auteurs met een geschatte waardenfunctie $\hat{v}$ (bijvoorbeeld afgeleid via LLM-as-a-Judge of menselijke feedback). Zij berekenen de least estimated core gebaseerd op $\hat{v}$ .
Egalitaire Least Core: Om gelijke standen te doorbreken tussen toewijzingen in de least core-verzameling, minimaliseren de auteurs de $\ell_2$ -norm van de toewijzingsvector, wat een meer eerlijke verdeling bevordert.

2. Sensitiviteitsanalyse

Het artikel stelt theoretische grenzen vast voor het verschil tussen het ware least core-tekort ( $\epsilon^*$ ) en het geschatte least core-tekort ( $\hat{\epsilon}$ ).

Algemeen Geval: De sensitiviteit wordt begrensd door de maximale gewogen afwijking tussen $v$ en $\hat{v}$ , waarbij de gewichten worden getrokken uit een gebalanceerde verdeling (een verdeling waarbij elke maker een gelijke marginale waarschijnlijkheid heeft om in een coalitie opgenomen te worden). Dit resultaat wordt gepresenteerd als een kwantitatieve analogie van de Bondareva-Shapley-stelling.
Binaire Beloningen: In situaties waar beloningen binair zijn (0 of 1), tonen de auteurs aan dat een klein percentage misclassificaties kan leiden tot grote tekorten. De sensitiviteit wordt echter begrensd door de worst-case-kans op misclassificatie onder een gebalanceerde verdeling.

3. Algoritmen voor Benadering

Het berekenen van de least core vereist het oplossen van een Lineair Program (LP) met een exponentieel aantal constraints ( $2^N$ ), waardoor een directe oplossing onhaalbaar is voor matige $N$ . De auteurs ontwikkelen iteratieve Constraint Generation (CG) algoritmen:

Scheidingsorakels: In plaats van alle constraints te enumereren, identificeert het algoritme iteratief "ongelukkige" coalities (degenen die de core-constraints schenden) en voegt deze toe aan het LP.
Op Steekproeven Gebaseerd Orakel: Steekproeven willekeurig coalities om schendingen te vinden. De auteurs bieden probabilistische garanties dat deze aanpak een benaderende least-core-toewijzing vindt met polynoom steekproefcomplexiteit.
Op LLM Gebaseerd Orakel: Maakt gebruik van Large Language Models als "adversarial testers". Gegeven een kandidaat-toewijzing, stelt de LLM coalities voor die volgens hem ondercompensatie lijden. Deze heuristiek leidt het zoekproces naar informatieve constraints zonder exhaustieve steekproeven te vereisen.
Coalitiezaad: Voor binaire waardenfuncties gebruiken de auteurs Minimale Winstende Coalities (MWC's) als initiële constraintset. Zij bewijzen dat als het scheidingsorakel sterk geschonden coalities identificeert, het algoritme efficiënt ontbrekende MWC's kan herstellen.

Belangrijkste Bijdragen

Conceptueel Kader: Het modelleren van in-context credit assignment als een coöperatief spel en het selecteren van de least core als het oplossingsconcept om prikkelscompatibiliteit te waarborgen door het worst-case-tekort te minimaliseren.
Sensitiviteitsgrenzen: Het bieden van theoretische grenzen voor hoe fouten in de geschatte beloningsfunctie zich voortplanten naar de least core-toewijzing, met gebruikmaking van gebalanceerde verdelingen over coalities.
Schalbare Algoritmen: Het ontwikkelen van praktische Constraint Generation-methoden die de least core benaderen met ordes van grootte minder waardenfunctie-query's dan basismethoden voor steekproeven. Dit omvat zowel op steekproeven gebaseerde als op LLM gebaseerde scheidingsorakels.
Empirische Validatie: Het aantonen op semi-synthetische webretrieval-taken dat de voorgestelde CG-methoden vergelijkbare of betere stabiliteit ( $\epsilon$ ) bereiken dan basismethoden, terwijl het aantal LLM-aanroepen met 3–17 $\times$ wordt gereduceerd.

Experimentele Resultaten

De auteurs evalueerden hun methoden op twee datasets: BrowseComp-Plus (een multi-hop QA-benchmark) en een Synthetische dataset ontworpen om echte interactie-effecten tussen documenten te waarborgen.

Efficiëntie: De CG-algoritmen (met name die met LLM-orakels) convergeerden naar stabiele toewijzingen met aanzienlijk minder LLM-aanroepen (vaak <100 aanroepen voor $n=10$ en ~1.000 voor $n=32$ ) vergeleken met de basismethode voor steekproeven (YP), die duizenden aanroepen vereiste (tot 8.192).
Nauwkeurigheid: CG-methoden behaalden holdout-tekort-scores ( $\hat{\epsilon}_H$ ) die vergelijkbaar waren met of beter waren dan de baseline. In sommige gevallen overtroffen LLM-orakelvarianten zelfs de baseline door toewijzingen met lagere tekorten te vinden.
Egalitarisme: De egalitaire varianten (minimaliseren van de $\ell_2$ -norm) slaagden erin credit breder te herverdelen (vermindering van sparsiteit) met slechts een geringe verslechtering van het stabiliteitsmetriek $\epsilon$ .
Zero-Shot Baseline: Een zero-shot-aanpak (waarbij de LLM wordt gevraagd direct een toewijzing te outputten) verraste door goed te presteren, maar miste de iteratieve verfijning en formele garanties van de CG-aanpak.

Betekenis en Claims

Het artikel claimt een computationeel hanteerbare en economisch onderbouwde mechanisme te bieden voor credit assignment in generatieve AI.

Economische Uitlijning: In tegenstelling tot eerder werk dat zich richtte op interpretatie of attributie, prioriteert deze aanpak expliciet maker-prikkels, waarbij wordt gewaarborgd dat geen enkele groep makers systematisch ondercompensatie lijdt.
Praktijktoepasbaarheid: Door LLM's te gebruiken als scheidingsorakels binnen een constraint generation-kader, tonen de auteurs aan dat complexe oplossingen voor coöperatieve spellen (de least core) efficiënt kunnen worden benaderd in real-world scenario's waar de waardenfunctie duur is om te queryen.
Toekomstige Richtingen: De auteurs merken op dat hoewel zij uitgaan van black-box-toegang tot een schatting van de waardenfunctie, het verbeteren van de schatting van de waardenfuncties zelf een belangrijke toekomstige richting blijft. Zij suggereren ook het verkennen van andere core-varianten (bijvoorbeeld die het dichtst bij de Shapley-waarde liggen) en het integreren van deze methoden in real-world platformontwerpen.

Het werk positioneert de least core niet alleen als een theoretisch construct, maar als een levensvatbaar, schaalbaar hulpmiddel voor het beheer van de economie van de opkomende maker-economie in het tijdperk van generatieve AI.