Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement

Dit onderzoek toont aan dat bij het beoordelen van zakelijke ideeën gepersonaliseerde AI-beoordelaars, die zijn afgestemd op de specifieke scorestijl van een expert, nauwkeuriger zijn dan algemene AI-beoordelaars die proberen een gemiddelde consensus te bereiken.

De kern

Stel je voor: je bent een jury bij een talentenjacht zoals Holland's Got Talent. De ene jurylid vindt een zanger fantastisch omdat de emotie perfect is, terwijl de andere jurylid alleen maar let op de technische perfectie van de noten. Ze kijken naar precies hetzelfde optreden, maar hun cijfers liggen mijlenver uit elkaar.

Is dat een probleem? Is de jury "fout" omdat ze het niet eens zijn?

Dit wetenschappelijke onderzoek (over het beoordelen van zakelijke ideeën door AI) gaat precies over dit dilemma. Hier is de uitleg in begrijpelijke taal.

Het probleem: De "Gemiddelde" Jury is saai en onnauwkeurig

Wanneer bedrijven nieuwe productideeën bedenken (bijvoorbeeld: "Een AI die patenten leest om nieuwe medicijnen te vinden"), moeten experts die ideeën beoordelen. Sommige experts zijn technici, anderen zijn zakenmensen.

Tot nu toe probeerden we AI (zoals ChatGPT) te gebruiken als een "automatische rechter". De standaardmethode was: we pakken alle cijfers van alle experts, gooien ze op één grote hoop, berekenen het gemiddelde, en zeggen tegen de AI: "Leer dit gemiddelde cijfer aan en beoordeel voortaan alle nieuwe ideeën volgens dit gemiddelde."

De onderzoekers ontdekten dat dit een fout is.

Het gemiddelde van een technicus en een zakenman is een "grijs" cijfer dat eigenlijk niemand echt weerspiegelt. Het is alsof je een gerecht probeert te beschrijven door de smaak van een peperduur biefstukje en een vegetarische salade te middelen: je krijgt een soort lauwe pap waar niemand blij van wordt.

De ontdekking: Verschil is geen ruis, maar een stijl

De onderzoekers maakten een enorme dataset (PBIG-DATA) met duizenden scores van echte experts op verschillende vlakken (zoals: "Is dit technisch haalbaar?" of "Is er wel een markt voor?").

Ze zagen twee belangrijke dingen:

1. De cijfers verschillen enorm: De experts zijn het bijna nooit eens over de exacte punten (een 3 of een 4).
2. Maar de richting is hetzelfde: Hoewel de één een 2 geeft en de ander een 4, zijn ze het er vaak wel over eens dat een idee "goed" of "slecht" is.

Dit betekent dat experts niet zomaar wat aanmodderen (geen "ruis"), maar dat ze simpelweg een eigen bril op hebben. De een kijkt door een blauwe bril, de ander door een rode.

De oplossing: De "Gepersonaliseerde AI-Rechter"

In plaats van de AI te leren wat het gemiddelde is, testten de onderzoekers een nieuwe aanpak: de Gepersonaliseerde Rechter.

In plaats van te zeggen: "Beoordeel dit zoals de gemiddelde mens dat doet," zeggen ze tegen de AI: "Kijk naar de eerdere scores van Expert Jan. Jan is heel streng op techniek maar heel enthousiast over marketing. Beoordeel dit nieuwe idee nu precies zoals Jan dat zou doen."

Het resultaat?
De gepersonaliseerde AI was veel beter in het voorspellen van wat een specifieke expert zou zeggen. De AI leerde niet alleen de cijfers, maar ook de redenering (de "stijl") van de expert.

Wat betekent dit voor de echte wereld?

Stel je een groot bedrijf voor dat duizenden innovatieve ideeën krijgt. In plaats van één algemene AI die zegt: "Dit idee krijgt een 6, doei," kun je straks een systeem hebben dat zegt:

• "De technische afdeling zal dit idee een 2 geven (te riskant), maar de marketingafdeling zal het een 9 geven (super trendy)."

De conclusie van het onderzoek: We moeten AI niet leren om de "wijze stem van het volk" te imiteren, maar juist om de verschillende, unieke perspectieven van experts te begrijpen. Pas dan krijg je een echt scherp beeld van de toekomst.

Technische samenvatting

Technische Samenvatting: Aggregate vs. Personalized Judges in Business Idea Evaluation

1. Probleemstelling

Het genereren van zakelijke ideeën met Large Language Models (LLM's) is relatief eenvoudig geworden, maar de evaluatie ervan vormt een kritieke flessenhals. In tegenstelling tot standaard NLP-taken (zoals feitelijke juistheid), is de beoordeling van zakelijke ideeën multidimensionaal (bijv. haalbaarheid, innovatie, marktomvang) en sterk afhankelijk van subjectieve expert-oordelen.

Het kernprobleem dat dit onderzoek aanstipt, is de methodologische aanname in de huidige "LLM-as-a-Judge" benaderingen: de aanname dat er één universele standaard bestaat. Wanneer experts het oneens zijn, worden hun scores vaak geaggregeerd tot een gemiddelde. Dit onderzoek vraagt zich af of een automatische beoordelaar (judge) moet streven naar een geaggregeerde consensus (het gemiddelde van alle experts) of dat het de individuele standaarden van specifieke beoordelaars moet modelleren.

2. Methodologie

De auteurs introduceren PBIG-DATA, een dataset bestaande uit ongeveer 3.000 individuele scores voor 300 op patenten gebaseerde productideeën. De beoordeling vindt plaats over zes dimensies: specificity, technical validity, innovativeness, competitive advantage, need validity, en market size.

Experimenteel ontwerp:
De onderzoekers vergelijken drie configuraties van LLM-beoordelaars (gebruikmakend van de Qwen3-modellen):

1. Zero-shot judge: Gebruikt alleen de beoordelingsrubriek zonder voorbeelden.
2. Aggregate judge: Wordt geconditioneerd op een mix van historische scores van verschillende beoordelaars (streeft naar een gemiddelde).
3. Personalized judge: Wordt geconditioneerd op de specifieke scoregeschiedenis van de doel-beoordelaar (streeft naar het nabootsen van iemands unieke standaard).

De evaluatie kijkt naar de overeenstemming tussen de LLM en de menselijke expert via de Krippendorff’s $\alpha$ (voor fijnmazige scores) en Jaccard-gelijkenis (voor grove selectie: welke ideeën worden als "goed" beschouwd).

3. Belangrijkste Bijdragen

• PBIG-DATA: Een nieuwe, hoogwaardige dataset met expert-scores in de domeinen NLP, Computer Science en Materiaalkunde.
• Kwantitatieve analyse van expert-discrepantie: Het aantonen dat onenigheid tussen experts geen willekeurige ruis is, maar een gestructureerde variatie in standaarden.
• Bewijs voor personalisatie: De demonstratie dat het modelleren van individuele beoordelaars superieur is aan het aggregeren van scores in pluralistische omgevingen.

4. Resultaten

• Gestructureerde onenigheid: De fijnmazige overeenstemming (Krippendorff’s $\alpha$) tussen experts is vaak laag of zelfs negatief. Echter, de overeenstemming bij "coarse selection" (het simpelweg selecteren van de beste ideeën) is veel hoger. Dit bewijst dat experts het wel eens zijn over wat een goed idee is, maar verschillen in hoe ze de score kalibreren.
• Superioriteit van gepersonaliseerde judges: Gepersonaliseerde judges presteren consistent beter dan zowel zero-shot als geaggregeerde judges. Ze sluiten nauwer aan bij de specifieke scores en de selectie-logica van de individuele expert.
• Redenering en consistentie: Onder gepersonaliseerde condities correleert de overeenstemming tussen experts met de semantische gelijkenis van de door de LLM gegenereerde tekstuele rechtvaardigingen. Dit betekent dat gepersonaliseerde judges niet alleen de cijfers kopiëren, maar ook de onderliggende beoordelingslogica van de expert nabootsen.

5. Betekenis en Implicaties

De resultaten hebben belangrijke implicaties voor zowel de AI-wetenschap als de bedrijfsvoering:

• Methodologisch: Het behandelen van geaggregeerde labels als de "ground truth" is misleidend in creatieve en zakelijke contexten. Evaluatie-systemen moeten rekening houden met de pluraliteit van standaarden.
• Praktisch/Zakelijk: In organisaties hebben verschillende stakeholders (bijv. technische reviewers vs. business strategen) verschillende belangen. In plaats van deze te dwingen tot een kunstmatige consensus via een gemiddelde score, kunnen AI-systemen worden ingezet om de verschillende perspectieven en hun specifieke redenen expliciet te maken. Dit helpt besluitvormers om de nuances van een idee beter te begrijpen in plaats van slechts een verwaterd gemiddelde te zien.