Technische Samenvatting: Mens-AI-teambuilding door de lens van Kalibratie

Probleemstelling

Moderne AI-systemen blinken uit in het extraheren van inzichten uit grootschalige data, waarbij ze vaak de menselijke capaciteiten op het gebied van patroonherkenning overtreffen. Mensen bezitten echter unieke contextuele kennis (bijv. specifieke patiëntgeschiedenis) die populatieniveau-modellen missen. Deze complementariteit motiveert de creatie van hybride intelligente systemen waarbij menselijke en machinale besluitvorming worden gecombineerd om beide agenten alleen te overtreffen.

Ondanks het potentieel voor complementariteit, vertoont mens-AI-teambuilding complexe dynamieken waarbij het verbeteren van het AI-model paradoxaal genoeg de teamprestaties kan verslechteren. De huidige literatuur mist een verenigd theoretisch perspectief om te karakteriseren wanneer teambuilding slaagt of faalt over verschillende frameworks. Dit artikel adresseert deze kloof door mens-AI-teambuilding te analysen door de lens van statistische kalibratie. De centrale vraag is: als de mens en het AI-model individueel gekalibreerd zijn met betrekking tot specifieke partities van de featureruimte, behouden standaard teambuilding-frameworks (het combineren van voorspellingen of het delegeren van taken) dan deze kalibratie-eigenschappen?

Methodologie en Framework

De auteurs formaliseren een setting bestaande uit een $K$-klasse classificatietaak met labels $y$ en features $x$. Ze beschouwen twee featureruimte-settings:

1. Gedeelde Features: Zowel de mens als het model observeren $x$.
2. Onafhankelijke Features: Het model observeert $x$, terwijl de mens $x$ en aanvullende verborgen features $z$ observeert (waarbij $z$ onbekend is aan het model).

Er wordt vanuit gegaan dat de mens en het model gekalibreerd zijn met betrekking tot willekeurige groeperingsfuncties (partities) $\Phi_h$ en $\Phi_f$, respectievelijk. Een voorspeller is gekalibreerd als de betrouwbaarheid overeenkomt met de empirische waarschijnlijkheid van het label binnen de toegewezen groep. Het papier analyseert twee primaire teambuilding-workflows:

1. Combinatie: Het aggregeren van menselijke en modelvoorspellingen.
   • Model-gebaseerde Combinatie: Een secundair model $g$ leert de menselijke gesamplede voorspelling $\hat{h}$ en de confidence-vector $f(x)$ van het model te combineren.
   • Bayesiaanse Combinatie (Kerrigan et al.): Gebruikt een verwarringsmatrix afgeleid van menselijke voorspellingen om de posterior van het model via de regel van Bayes te updaten.
2. Delegatie (Learning to Defer): Een meta-classifier (rejector) $r(x)$ beslist of een voorspelling wordt gedelegeerd aan de mens of dat het model mag voorspellen. Het doel is om het risico te minimaliseren door de superieure voorspeller voor elk instantie te selecteren.

Belangrijkste Bijdragen en Theoretische Resultaten

1. Combinatie-frameworks

De auteurs bewijzen dat bestaande combinatiemethoden over het algemeen falen in het behouden van de menselijke kalibratie, terwijl ze de kalibratie van het model wel behouden.

• Model-gebaseerde Combinatie:
  • Resultaat: De gecombineerde voorspeller $g^*$ is gekalibreerd met betrekking tot de partitie van het model $\Phi_f$ (Propositie 3.1).
  • Falen: Het is niet gekalibreerd met betrekking tot de menselijke partitie $\Phi_h$ (Theorem 3.2). De handeling van het samplen van een enkele menselijke voorspelling $\hat{h}$ vernietigt de informatie die in $\Phi_h$ is gecodeerd, tenzij het model $f(x)$ al een "omnipredictor" (multi-gekalibreerd) is met betrekking tot beide partities, of de menselijke partitie zo grof is dat de sample de groep uniek identificeert.
• Bayesiaanse Combinatie (Verwarringsmatrix):
  • Resultaat: De posterior is gekalibreerd met betrekking tot $\Phi_f$ onder de aanname van conditionele onafhankelijkheid tussen partities gegeven het label (Theorem 3.3).
  • Falen: Het is niet gekalibreerd met betrekking tot $\Phi_h$ (Proposition 3.4). De verwarringsmatrix aggregeert menselijke voorspellingen, waardoor binnen-klasse variaties van $\Phi_h$ worden gemiddeld.
  • Gevoeligheid voor Modelkalibratie: Een cruciale bevinding is dat naarmate het model de Bayes-classifier nadert (ideale kalibratie), de aanname van conditionele onafhankelijkheid ($\Phi_h \perp \Phi_f | y$) steeds meer wordt geschonden. Dit leidt tot "over-sharpening" en miskalibratie in de gecombineerde voorspeller (Proposition 3.5).

2. Delegatie-frameworks (Learning to Defer)

• Kalibratie-eisen: De rejecter (meta-classifier) moet gekalibreerd zijn met een granulariteit die fijn genoeg is om de optimale-deferral set $D^*$ te identificeren, waar de waarschijnlijkheid dat de mens correct is groter is dan de maximale zekerheid van het model (Theorem 4.1).
• Impact van Verborgen Informatie: Wanneer de mens beschikt over verborgen features $z$ die de rejecter niet kan observeren, is de rejecter beperkt tot het marginaliseren over $z$. Dit creëert een irreducibel excess risico omdat de rejecter niet in staat is om instanties te detecteren waar de verborgen informatie van de mens hen superieur maakt, zelfs als de marginale waarschijnlijkheid dat suggereert (Corollary 4.2).
• Input Features: De auteurs stellen dat de rejecter expliciet de output van het model $f(x)$ als input feature moet gebruiken om de partitie $\Phi_f$ te verfijnen en de deferral-drempel correct te identificeren.

Empirische Resultaten

De theoretische bevindingen werden gevalideerd via simulaties en experimenten op real-world datasets:

1. Simulatie (Gedeelde vs. Onafhankelijke Features):
   • In beide settings erfde het gecombineerde model de kalibratie van het model ($\Phi_f$), maar faalde het in het behouden van de menselijke kalibratie ($\Phi_h$), wat resulteerde in een significante Expected Calibration Error (ECE).
2. ImageNet-16H (Gedeelde Features):
   • Gebruikmakend van menselijke annotaties van 145 deelnemers, varieerden de auteurs de kalibratie van een VGG-19 model via temperature scaling.
   • Bevinding: Betere modelkalibratie leidde niet tot een betere gecombineerde voorspeller. De optimale posterior accuratesse en ECE werden bereikt met modellen die minder gekalibreerd waren dan het beste beschikbare model, wat de theoretische voorspelling bevestigt dat hoge modelkalibratie de onafhankelijkheidsaanname breekt die vereist is voor de Bayesiaanse combinatie.
3. HAM10000 (Onafhankelijke Features):
   • Gesimuleerde mensen met variërende toegang tot metadata ($z$) werden gecombineerd met een ResNet-18 model.
   • Bevinding: Wanneer de mens over onafhankelijke features beschikte (metadata alleen), verbeterde een betere modelkalibratie consistent de posterior voorspeller. Wanneer de features gedeeld werden, keerde de trend om, wat overeenkomt met de theoretische distinctie tussen gedeelde en onafhankelijke featureruimtes.

Betekenis en Claims

Het artikel beweert een verenigd theoretisch perspectief te bieden voor het begrijpen van mens-AI-teambuilding, waarbij wordt onthuld dat veelvoorkomende teambuilding-procedures de onderliggende kalibratie van teamleden niet behouden.

• Negatieve Resultaten: De primaire bijdrage is de demonstratie dat het simpelweg combineren van gekalibreerde agenten niet leidt tot een gekalibreerd team. Specifiek gaat de specifieke kennis van de mens (gecodeerd in $\Phi_h$) vaak verloren of wordt deze vervormd in het combinatieproces.
• Beperkingen van Delegatie: Het werk benadrukt dat delegatie fundamenteel beperkt wordt door informatie-asymmetrie. Als de mens vertrouwt op onobserveerbare features, kan het systeem niet perfect leren wanneer het moet delegeren, ongeacht de verfijning van de rejecter.
• Praktische Implicaties:
  • Voor combinatie, is het multi-kalibreren van het model naar de menselijke partitie een theoretische oplossing, maar dit brengt het team effectief samen tot één enkel model, wat het voordeel van human-in-the-loop tenietdoet.
  • Voor delegatie, moet de rejecter hoog gekalibreerd zijn en de output van het model als een feature bevatten. Als verborgen features aanwezig zijn, kan het systeem de actieve verzameling van die features vereisen (bijv. bij beslissingsgrenzen) in plaats van te vertrouwen op statische modellen.

De auteurs concluderen dat hoewel kalibratie een krachtig hulpmiddel is voor analyse, de "no-free-lunch"-aard van deze frameworks suggereert dat het bereiken van robuuste mens-AI-teambuilding een zorgvuldige overweging vereist van de featureruimtes en de specifieke kalibratie-eigenschappen van de betrokken agenten.