Machines acquire scientific taste from institutional traces

Dit onderzoek toont aan dat het door taalmodellen fijnafstemmen op institutionele publicatiebeslissingen een 'wetenschappelijke smaak' oplevert die zowel geavanceerde modellen als menselijke experts overtreft bij het beoordelen van de kwaliteit van ongeteste ideeën.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljoenen nieuwe boeken. Iedereen wil erin lezen, maar er zijn maar een paar bibliothecarissen om te beslissen welke boeken echt geweldig zijn en welke saai of slecht zijn. Dit is precies wat er gebeurt in de wetenschap: er worden steeds meer onderzoeken gepubliceerd, maar er zijn niet genoeg experts om ze allemaal goed te beoordelen.

Deze paper van onderzoekers van de Tsinghua Universiteit in China vertelt een fascinerend verhaal over hoe kunstmatige intelligentie (AI) eindelijk kan leren om die moeilijke beslissingen te nemen. Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

Het Probleem: De "Smaak" van de Wetenschap

Wetenschap draait niet alleen om feiten die je kunt controleren (zoals of 2+2=4). Het gaat ook om smaak. Smaak is het vermogen om te zeggen: "Dit idee klinkt beloftevol, dat idee is saai," of "Deze nieuwe theorie is revolutionair, die andere is slechts een klein stapje."

Het probleem is dat deze "smaak" heel lastig te uitleggen is. Het is als een chef-kok die zegt: "Deze soep smaakt perfect." Als je vraagt: "Waarom?", kan de chef moeilijk zeggen: "Omdat er precies 0,3 gram peper in zat." Het is een gevoel dat je krijgt door jarenlang te proeven en te kijken wat er goed gaat.

Tot nu toe faalden computers hierin. Als je de slimste AI's vroeg om een wetenschappelijk idee te beoordelen, deden ze het niet beter dan een raden. Ze waren te beleefd, te voorzichtig of gewoon niet in staat om het verschil te zien tussen "goed" en "uitstekend".

De Oplossing: De "Gouden Spoor" van de Bibliotheek

De onderzoekers hadden een briljant idee. Ze zeiden: "Waarom proberen we de AI te leren door haar regels te geven? Laten we haar in plaats daarvan kijken naar wat er in het verleden is gebeurd."

Stel je voor dat je wilt leren hoe je een goed schilderij herkent.

1. De oude manier: Je leest een boek over kunsttheorie en probeert de regels te onthouden. (Dit werkte niet voor de AI).
2. De nieuwe manier: Je kijkt naar de muren van de Louvre. Je ziet welke schilderijen er hangen en welke niet. Je leert niet door regels te lezen, maar door te zien wat de museumdirecteuren in de loop van de tijd hebben gekozen.

De onderzoekers deden precies dit. Ze namen de geschiedenis van wetenschappelijke tijdschriften. Ze keken naar duizenden onderzoeksvoorstellen en zagen welke werden gepubliceerd in de top-tijdschriften (de "Exceptional" categorie) en welke in de mindere tijdschriften.

Ze gaven deze geschiedenis aan de AI en zeiden: "Kijk naar dit patroon. Dit is wat de wereld als 'goed' heeft gekozen. Leer dit."

Het Resultaat: De AI wordt een Smaakvol Expert

Het resultaat was verbazingwekkend:

• De slimste AI's zonder training: Hielden het bij raden (ongeveer 25% goed). Ze konden de "smaak" niet vinden.
• Menselijke experts (de echte bibliothecarissen): Deden het iets beter (ongeveer 42% goed), maar zelfs zij waren het vaak oneens met elkaar. Soms dachten ze dat iets geweldig was, en de volgende expert dacht van niet.
• De getrainde AI: Deze AI, die had gekeken naar de "sporen" van de beslissingen van de afgelopen jaren, deed het veel beter (tot wel 60% goed).

De AI had de "collectieve smaak" van de wetenschappelijke wereld opgeslagen. Het was alsof de AI de geest van duizenden experts in één systeem had samengevoegd.

Waarom werkt dit? (De "Donkere Kennis")

De onderzoekers noemen dit "institutionele sporen". Het is een soort van "donkere kennis". Niemand kan precies uitleggen waarom een bepaald artikel in een top-tijdschrift terechtkwam. Maar als je naar de lijst van alle artikelen kijkt die erin staan, zie je een patroon. De AI is slim genoeg om dat patroon te zien en te leren, zonder dat iemand haar de regels moet uitleggen.

Het is alsof je een kind leert rijden. Je kunt niet uitleggen hoe je precies het stuur draait. Maar als je het kind duizenden kilometers laat rijden met een ervaren chauffeur, leert het kind vanzelf hoe het moet sturen door de sporen van de wielen te volgen.

Wat betekent dit voor de toekomst?

Dit is een grote doorbraak voor de wetenschap:

1. Schaalbaarheid: Er komen zoveel nieuwe onderzoeken dat menselijke experts het niet meer aankunnen. Deze AI kan als een filter fungeren om de beste ideeën eruit te vissen.
2. Betrouwbaarheid: De AI weet ook wanneer ze het niet weet. Als ze zeker is, heeft ze bijna altijd gelijk. Als ze twijfelt, kan ze zeggen: "Laat dit door een mens controleren."
3. Kosten: Het kostte minder dan 300 dollar om deze AI te trainen. Dat is een fractie van wat het kost om een team van experts bij elkaar te brengen.

Kortom: De wetenschap had niet meer "slimmere" computers nodig die beter kunnen rekenen. Het had computers nodig die konden leren kijken naar wat mensen in het verleden al hebben gekozen. De "smaak" zat al in de archieven; de AI heeft het gewoon opgepikt.

Technische samenvatting

Titel: Machines verwerven wetenschappelijke smaak uit institutionele sporen

Auteurs: Ziqing Gong, Ning Li, Huaikang Zhou (Tsinghua University)

---

1. Het Probleem: De "Smaak" van Wetenschap

Hoewel kunstmatige intelligentie (AI) menselijke prestaties overtreft op taken met verifieerbare antwoorden (zoals eiwitvouwing of wiskunde), faalt het bij het beoordelen van wetenschappelijke ideeën voordat deze empirisch zijn getoetst.

• Tacit Knowledge: De kern van wetenschappelijke vooruitgang ligt niet in redenering, maar in "smaak": het vermogen om te beoordelen welke ongeteste ideeën het meest verdienend zijn. Deze smaak is tacit (impliciet), sociaal geconstrueerd en wordt niet door regels overgedragen, maar door blootstelling aan wat het veld als excellent beschouwt.
• De Evaluatiekloof: Bestaande grote taalmodellen (LLM's) en menselijke experts falen in het betrouwbaar discrimineren van onderzoeksvoorstellen. LLM's neigen tot "sycophancy" (te instemmend gedrag) en beoordelen de presentatie meer dan de bijdrage. Menselijke experts vertonen een extreem lage onderlinge overeenstemming (Fleiss' κ ≈ 0,05), hoewel het institutionele systeem (tijdschriften) wel degelijk een consistente kwaliteitsstratificatie produceert.
• De Vraag: Kan AI deze impliciete "wetenschappelijke smaak" leren, en zo de bottleneck in de wetenschappelijke evaluatie oplossen?

2. Methodologie

De auteurs stellen een nieuwe aanpak voor waarbij AI-modellen worden getraind op institutionele sporen: de historische beslissingen van tijdschriften over publicatie, in plaats van expliciete beoordelingscriteria.

• Benchmarks:

  • Management/Organizational Psychology: Een dataset van 120 "research pitches" (samenvattingen van onderzoeksvoorstellen) afgeleid van artikelen, verdeeld over vier kwaliteitsniveaus (Exceptional, Strong, Fair, Limited) gebaseerd op het tijdschrift waarin ze zijn gepubliceerd.
  • Economie: Een replicatie-benchmark van 200 pitches.
  • Data: De input bevat alleen de kernvraag en theoretische framing; methoden, resultaten en tijdschriftidentiteit zijn verwijderd om de beoordeling puur op het idee te baseren.

• Evaluatiegroepen:

  • Frontier-modellen: 11 state-of-the-art modellen (o.a. GPT-5.2, Gemini 3.1, Claude Opus 4.6).
  • Menselijke experts: 48 redacteuren en redactieraadleden, en 174 junior onderzoekers.
  • Fine-tuned Modellen: Vier basismodellen (GPT-4.1, GPT-4.1-nano, Qwen3-4B, Qwen3-30B) die zijn Supervised Fine-Tuned (SFT) op historische paren van "research pitch + tijdschriftuitkomst".

• Trainingsdata:

  • De SFT-modellen zijn getraind op duizenden historische paren (bijv. 4.479 voor management, 5.593 voor economie) waarbij de tijdschriftkwaliteit fungeerde als het supervisie-signaal.
  • De training kostte minder dan $300 in totaal.

• Tests:

  • Categorie-indeling: Toewijzen van een pitch aan één van de vier niveaus.
  • Paarwise discriminatie: Welk van twee pitches is beter? (Niet getraind op deze taak).
  • Input-compressie: Beoordeling op basis van één zin in plaats van een volledige samenvatting.
  • Kalibratie: Het vermogen om de zekerheid van een voorspelling te koppelen aan de juistheid.

3. Belangrijkste Resultaten

• Mislukking van Frontier-modellen en Mensen:

  • Frontier-modellen presteerden nauwelijks beter dan toeval (gemiddelde nauwkeurigheid: 31,1%; kansniveau 25%). Ze vertoonden een "predictie-collapse", waarbij ze bijna alles als "Strong" of "Fair" beoordeelden en zelden de uiterste niveaus (Exceptional/Limited) gebruikten.
  • Menselijke experts presteerden iets beter (42% bij meerderheidsstemming), maar vertoonden enorme variatie en lage onderlinge betrouwbaarheid.

• Succes van Supervised Fine-Tuning (SFT):

  • Modellen getraind op institutionele sporen overtroffen zowel de beste frontier-modellen als menselijke panels.
  • De beste SFT-modellen bereikten een nauwkeurigheid van 59,2% (en tot 60,8% bij ensemble van twee modellen).
  • Dit vertegenwoordigt een winst van ongeveer 6 keer de "headroom" (ruimte voor verbetering) vergeleken met frontier-modellen, en meer dan het dubbele van menselijke panels.
  • Kosten: De training kostte minder dan $300, terwijl de inferentie van frontier-modellen veel duurder is.

• Mechanismen en Generalisatie:

  • Gekalibreerd vertrouwen: SFT-modellen wisten wanneer ze het goed hadden. Bij hun hoogste zekerheidsvoorspellingen (top 10%) was de nauwkeurigheid 100%. Frontier-modellen en mensen hadden dit gekalibreerde zelfkennis niet.
  • Generalisatie: De modellen slaagden in paarwise discriminatie (zonder training op deze taak) en behielden hun beoordelingsvermogen zelfs bij extreme input-compressie (één zin), hoewel kleinere modellen hier minder goed in waren dan grotere.
  • Cross-field: Een model getraind op management-data presteerde significant boven toeval op economische data (43,5%), wat aantoont dat er gedeelde structuren in wetenschappelijke smaak zitten. Een model getraind op beide velden behaalde 69,5% in economie.

• Vergelijking met Reinforcement Learning (RL):

  • Modellen getraind met RL (die expliciete redeneerketens gebruiken) presteerden slechter dan SFT-modellen. Dit suggereert dat wetenschappelijke smaak niet via logische redenering kan worden afgeleid, maar direct uit voorbeelden (sporen) moet worden geleerd.

4. Bijdragen en Significatie

• Ontdekking van "Dark Knowledge": De studie toont aan dat de kennis die nodig is om wetenschappelijke kwaliteit te beoordelen niet ontbreekt in AI, maar verborgen zit in de institutionele archieven (publicatiegeschiedenis). Deze "institutionele sporen" vormen een leerbaar signaal dat expliciete instructies overtreft.
• Oplossing voor de Evaluatiebottleneck: Met de explosie van AI-generatie van wetenschappelijke teksten is de capaciteit om ideeën te filteren de nieuwe bottleneck. Deze SFT-aanpak biedt een schaalbare, goedkope en kalibrerende methode om onderzoeksvoorstellen te triageren.
• Verschuiving van Redenering naar Smaak: Het onderzoek illustreert dat voor taken die gebaseerd zijn op impliciete, sociaal geconstrueerde oordelen (zoals kunst, investeringen, of wetenschappelijke smaak), het trainen op uitkomstdata (SFT) effectiever is dan het optimaliseren van redeneerprocessen (RL).
• Praktische Toepassing: Een workflow waarbij AI hoog-zekerheidsvoorspellingen direct verwerkt en onzekere gevallen doorstuurt naar menselijke experts, kan de efficiëntie van wetenschappelijke gatekeeping drastisch verhogen.

Conclusie: Wetenschappelijke smaak is niet uniek menselijk, maar is gedeponeerd in institutionele records. Door AI te trainen op deze historische beslissingen, kunnen machines een evaluatievermogen ontwikkelen dat superieur is aan zowel de sterkste huidige AI-systemen als aan menselijke experts, en dit tegen een fractie van de kosten.