The conditional superiority of fast silicon sampling

Stel je voor dat je probeert te voorspellen hoe een menigte mensen zal reageren op een nieuwe wet, een vreemde film of een pittige voedseltrend. In het verleden moest je de deur uit gaan, aan deuren kloppen en duizenden echte mensen om vragen. Maar nu hebben we "Large Language Models" (LLM's). Denk aan deze als superintelligente, digitale hersenen die bijna alles op het internet hebben gelezen. Ze zijn zo goed in het nabootsen van menselijke gesprekken dat ze mensen kunnen imiteren. Dit heeft geleid tot een wild idee van onderzoekers: in plaats van echte mensen te vragen, waarom vragen we de AI niet gewoon? Dit wordt "silicon sampling" genoemd. Het is alsof je een kamer vol digitale klonen vraagt om een enquête in te vullen. Maar hier komt de grote vraag: als we deze digitale klonen vragen om snel te antwoorden, in een grote haast, zullen hun antwoorden dan wel goed zijn? Of moeten we ze één vraag tegelijk stellen, langzaam en zorgvuldig, om de waarheid te achterhalen? Dit artikel duikt in precies die vraag, door te testen of snelheid de nauwkeurigheid doodt wanneer het gaat om het simuleren van menselijke meningen.

De onderzoekers in deze studie besloten dit idee op de proef te stellen met een specifieke groep: mensen uit Singapore. Ze namen een echte enquête die aan meer dan 2.000 echte Singaporezen was voorgelegd over zaken als immigratie en ethische regels (zoals of het oké is om belastingen onjuist aan te geven of onbeleefd te zijn). Vervolgens gebruikten ze een zeer geavanceerd AI-model (OpenAI's GPT-5.4) om twee verschillende sets "digitale klonen" te creëren. Eén set werd gemaakt met de "langzame" methode: de AI werd één vraag tegelijk gesteld, met een frisse start voor elke nieuwe vraag, net zoals een mens een toets maakt. De andere set gebruikte de "snelle" methode: de AI kreeg de volledige lijst met vragen in één gigantische, complexe prompt en werd gevraagd om alle antwoorden in één keer uit te spuwen.

De resultaten waren een mix van "niet slecht" en "absoluut niet perfect". Eerst het slechte nieuws: de digitale klonen waren geen perfecte kopieën van echte mensen. Hoewel ze best goed waren in het raden van de gemiddelde mening (bijvoorbeeld, als de meeste echte mensen vonden dat iets "oké" was, dacht de AI ook dat het "oké" was), faalden ze in het vastleggen van de variatie in meningen. Echte mensen hebben een breed scala aan gevoelens; sommige mensen houden van iets, anderen haten het, en sommigen zitten er middenin. De AI had echter de neiging om alles af te vlakken, waardoor iedereen klonk alsof ze precies hetzelfde voelden. Het verpestte ook de relaties tussen verschillende meningen. Bijvoorbeeld, in het echte leven hebben mensen die tegen immigratie zijn, misschien ook een specifere vorm van weerstand tegen iets anders. De digitale klonen van de AI begrepen dat patroon niet helemaal goed; de "vorm" van hun meningen zag er vervormd uit vergeleken met echte mensen.

Maar hier komt de wending die het artikel spannend maakt. De onderzoekers ontdekten dat de "snelle" methode eigenlijk net zo goed was als, en soms zelfs iets beter dan, de "langzame" methode. Dit is verrassend omdat iedereen ervan uitging dat het de AI in de war zou brengen of minder responsief zou maken als je de AI een enorme lijst met vragen tegelijk gaf. Maar de gegevens lieten zien dat de snelle digitale klonen net zo trouw waren aan de echte gegevens als de langzame. Sterker nog, de snelle methode was een enorme tijdbesparing. Het duurde ongeveer 3 seconden om een volled aanbod van antwoorden voor één persoon te genereren, vergeleken met 20 seconden voor de langzame methode. Het verbruikte ook ongeveer 64% minder computerbronnen (tokens) en kostte de helft minder geld.

Dus, wat is het oordeel? Het artikel concludeert dat hoewel silicon sampling nog steeds een methode is die met "grote voorzichtigheid" moet worden gebruikt omdat het de rommelige, gevarieerde aard van het echte menselijke denken niet perfect vastlegt, je niet traag hoeft te zijn om de beste resultaten te krijgen die je kunt krijgen. Als je AI gaat gebruiken om menselijke meningen te simuleren, kun je er maar beter snel bij zijn. Het bespaart tijd en geld zonder de antwoorden slechter te maken. Maar de auteurs waarschuwen ons om nog niet te enthousiast te worden: deze digitale klonen zijn nog steeds slechts verkennende instrumenten. Ze zijn geweldig voor het testen van ideeën of het zien hoe een model zich gedraagt, maar ze zouden de plaats van echte menselijke enquêtes niet moeten innemen wanneer we precies willen weten wat een populatie denkt, vooral in een diverse plek als Singapore. De digitale klonen worden beter in de basis, maar ze hebben nog niet echt geleerd hoe ze werkelijk menselijk kunnen zijn.