Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting

Technische Samenvatting: Menselijk Kapitaal, Niet Modelbenchmarks, Voorspelt Hybride Intelligentie in Forecasting

Probleemstelling
De huidige literatuur over mens–AI-collaboratie levert tegenstrijdige resultaten op met betrekking tot productiviteit en nauwkeurigheid. Sommige studies suggereren dat AI minder geschoolde werkers ondersteunt, terwijl andere aangeven dat de voordelen alleen toekomen aan ervaren gebruikers, of dat toegang tot capabele modellen de menselijke prestaties juist kan verslechteren ten opzichte van het model dat alleen werkt. Een terugkerende confounder in deze studies is de evaluatiemetriek: "bekwaamheid" wordt vaak gemeten tegen problemen waarbij de AI de oplossing al heeft gecodeerd (contaminatie), of "kwaliteit" wordt beoordeeld door beoordelaars die gevoelig zijn voor de vloeiendheid van AI-gegenereerde proza in plaats van substantiële redenering. Deze pilotstudie adresseert de noodzaak voor een objectieve, extern opgeloste benchmark om te bepalen of menselijk kapitaal de waarde van AI-assistentie bij forecasting moduleert en of verschillende interactiestijlen dit effect mediëren.

Methodologie
De studie maakte gebruik van een real-money voorspellingsmarkt (Polymarket) als een objectieve grondwaarheid, om de biases van deskundige beoordelaars of statische benchmarks te vermijden.

• Deelnemers en Ontwerp: 78 deelnemers (42 UC Berkeley studenten, 36 volwassenen uit de gemeenschap) werden georganiseerd in 26 teams van drie personen. Zij werden toegewezen aan ofwel een Human-only conditie (12 teams) of een Hybrid conditie (14 teams) met toegang tot één van vier Large Language Models (Llama 3.1, Qwen3, GPT-4o, Gemini 3 Pro). Een aparte groep van 30 deelnemers werkte met een "Socratisch" model dat antwoorden achterhield.
• Taak: Teams voorspelden 10 willekeurig getrokken vragen uit een pool van 30 live Polymarket-contracten (met afwikkeling in november 2025–januari 2026) die economie, internationale betrekkingen en bedrijfsleven beslaan.
• Metrieken: Voorspellingsnauwkeurigheid werd gemeten met de geschaalde Brier-score (gemiddelde kwadratische fout van probabilistische voorspellingen; lager is beter).
• Metingen van Menselijk Kapitaal: Deelnemers voltooiden assessments voor fluïde redeneren (Raven's Matrices), algemene intelligentie ($g$), perspectiefname (IRI), intellectuele nederigheid, epistemische nieuwsgierigheid, veerkracht en Big-Five persoonlijkheidskenmerken.
• Interactiestijlen: Post-hoc classificatie van hybride deelnemers in drie emergente stijlen:
  • Automators: nemen het antwoord van het model over met minimale redenering.
  • Validators: gebruiken het model om een vooraf ingeschatte gok te controleren.
  • Cyborgs: gaan een iteratieve, complementaire redenering aan.
• Analyse: Analyses werden uitgevoerd op individueel forecaster-niveau met behulp van non-parametrische omnibus-testen (Kruskal–Wallis) en Welch's t-testen voor paarvergelijkingen, naast Pearson-correlaties voor menselijke kapitaal-kenmerken.

Belangrijkste Resultaten
De studie identificeerde een "trimodale" distributie van hybride prestaties, wat het idee van een enkel gemiddeld effect voor mens–AI-collaboratie uitdaagt:

1. Human-Only: Scoorde 14,7 (Brier), presteerde significant slechter dan de modellen maar beter dan toeval.
2. Automators: Scoorden 10,4. Zij reproduceerden het gedrag van het model maar slaagden er niet in de nauwkeurigheid ervan te evenaren, waardoor ze slechter presteerden dan de AI-only baseline (5,5).
3. Validators: Scoorden 31,7. Deze groep, die het model gebruikte om eerdere gokken te bekrachtigen, presteerde significant slechter dan mensen die alleen werkten en ver onder de AI-baseline.
4. Cyborgs: Scoorden 3,8. Deze minderheidsgroep bereikte foutmarges die lager waren dan die van elk individueel AI-model en waren statistisch niet te onderscheiden van, en numeriek superieur aan, de marktbenchmark (3,5).

Voorspellers van Succes

• Ontkoppeling van Bekwaamheid en Uitkomst: In de Human-only conditie voorspelde ruwe cognitieve bekwaamheid ($g$, fluïde redeneren) sterk de nauwkeurigheid ($r \approx -0,45$). Echter, in de Hybrid conditie voorspelde ruwe cognitieve bekwaamheid de nauwkeurigheid niet ($r \approx -0,10$). Het model leverde een prestatievloer, waardoor de ruwe intelligentie werd ontkoppeld van de uiteindelijke uitkomst.
• Rol van Collaboratief Menselijk Kapitaal: Succes in de Hybrid conditie werd voorspeld door collaboratieve kenmerken in plaats van benchmarks. Perspectiefname ($r = -0,32$), nieuwsgierigheid en intellectuele nederigheid waren de primaire differentiators.
• Emergentie van de Cyborg: De "Cyborg"-modus werd scherp afgebakend door menselijk kapitaal. Cyborgs vertoonden significant hogere niveaus van intellectuele nederigheid, nieuwsgierigheid en perspectiefname vergeleken met andere hybride forecasters (effect sizes $d > 3,0$).

Significantie en Claims
Het paper stelt dat de vraag naar AI-productiviteit moet verschuiven van "of AI helpt" naar "wanneer en hoe het helpt". De primaire bijdrage is de demonstratie dat het samenvoegen van alle hybride interacties in één enkele gemiddelde de een sterk trimodale uitkomst maskeert, inclusief een "Validator"-modus die de prestaties actief verslechtert.

De studie claimt dat collaboratief menselijk kapitaal (specifiek perspectiefname, intellectuele nederigheid en nieuwsgierigheid) de cruciale moderator is die bepaalt of een mens–AI-team slaagt of faalt. Cruciaal is dat de kenmerken die een model goed laten presteren of een mens goed laten redeneren in isolatie, verschillend zijn van de kenmerken die een mens–AI-team effectief maken. De resultaten worden gepresenteerd als voorlopig maar statistisch robuust, en dienen als motivatie voor een vooraf geregistreerde replicatie die momenteel in voorbereiding is om deze effectgroottes en causale mechanismen te bevestigen.

Beperkingen
De auteurs merken expliciet op dat het een pilotstudie betreft: kleine steekproeven voor de Cyborg- en Validatorgroepen ($n=9$ elk), de emergente (niet-gemanipuleerde) aard van de interactiestijlen die collineariteit met menselijk kapitaal creëert, en een lage variantie binnen de condities. Bij consequentie kunnen de vergelijkingen tussen stijlen daarom als beschrijvend worden beschouwd in plaats van causaal, en de studie is bedoeld om effectgrootte-schattingen te genereren voor een toekomstige bevestigende trial.