Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement

Diese Arbeit untersucht, ob KI-basierte Beurteilungen von Geschäftsideen eher einen allgemeinen Expertenkonsens oder individuelle Expertenmeinungen widerspiegeln sollten, und zeigt auf, dass personalisierte KI-Richter bei der Bewertung komplexer, mehrdimensionaler Kriterien präziser auf einzelne Experten abgestimmt sind als aggregierte Modelle.

Das Wesentliche

Das Problem: Die „Geschmacksfrage“ bei Geschäftsideen

Stell dir vor, du bist ein Investor und hast eine riesige Liste mit 300 neuen Ideen für Start-ups vor dir liegen. Du fragst drei Experten: „Ist diese Idee gut?“

• Experte A (der Techniker): „Die Technik ist brillant, aber der Markt ist zu klein.“
• Experte B (der Marktschreier): „Der Markt ist riesig! Die Technik ist okay, aber wir müssen sofort starten!“
• Experte C (der Vorsichtige): „Viel zu riskant. Das wird nie funktionieren.“

Sie benutzen alle das gleiche Bewertungsblatt, aber am Ende kommen völlig unterschiedliche Noten heraus. Das ist kein Fehler – es ist menschlich. Jeder hat seine eigene „Brille“, durch die er die Welt sieht.

Das Problem der KI: Bisher haben Forscher versucht, eine KI (einen „automatischen Richter“) so zu trainieren, dass sie den Durchschnitt aller Experten trifft. Man sagt der KI: „Hier sind die Noten von allen, lerne den Mittelwert.“

Die Forscher in diesem Papier haben sich gefragt: Ist das überhaupt sinnvoll? Wenn man den Durchschnitt aus drei völlig verschiedenen Meinungen bildet, bekommt man am Ende oft eine „verwässerte“ Meinung, die eigentlich niemandem wirklich entspricht.

---

Die Metapher: Der „Durchschnitts-Koch“ vs. der „Persönliche Koch“

Um das zu verstehen, nutzen wir eine Analogie aus der Küche:

1. Der „Durchschnitts-Richter“ (Aggregate Judge):
   Stell dir vor, du fragst eine KI, wie ein Gericht schmeckt. Die KI hat aber nur die Durchschnittsnoten von einem Sternekoch (der es scharf mag), einer Oma (die es mild mag) und einem Fitness-Coach (der es gesund mag) gelesen. Wenn die KI nun ein Gericht bewertet, wird sie etwas „mittelmäßiges“ sagen: Nicht zu scharf, nicht zu fettig, nicht zu fad. Es ist ein Kompromiss, der aber weder den Koch noch die Oma wirklich glücklich macht.

2. Der „Personalisierte Richter“ (Personalized Judge):
   Jetzt geben wir der KI etwas anderes. Wir sagen ihr: „Hier sind die bisherigen Bewertungen von nur der Oma.“ Die KI lernt nun genau, wie die Oma tickt. Wenn sie jetzt ein neues Gericht bewertet, wird sie sagen: „Das ist zu salzig für die Oma!“ Sie spiegelt die persönliche Meinung wider.

---

Was haben die Forscher herausgefunden?

Die Forscher haben einen riesigen Datensatz (PBIG-DATA) mit 3.000 Bewertungen von echten Experten zu Geschäftsideen erstellt. Dann haben sie die KI-Richter getestet.

Das Ergebnis war eindeutig:

• Der Durchschnitt ist schwach: Wenn die KI versucht, den „Durchschnitt“ aller Experten zu imitieren, scheitert sie oft. Sie verliert die Nuancen und die Logik der einzelnen Experten.
• Personalisierung gewinnt: Wenn man der KI sagt: „Verhalte dich wie Experte Müller“, dann wird sie viel präziser. Sie versteht nicht nur die Note, sondern auch die Begründung (das „Warum“), die dieser spezifische Experte nutzt.
• Struktur statt Chaos: Die Experten sind sich zwar bei den genauen Noten (z. B. 3 oder 4 von 5) uneinig, aber sie sind sich meistens einig, welche Ideen grundsätzlich gut oder schlecht sind. Die KI kann diese „groben Muster“ viel besser erkennen, wenn sie auf eine bestimmte Person zugeschnitten ist.

---

Warum ist das wichtig für die Zukunft?

Wenn Firmen in Zukunft KI nutzen wollen, um Millionen von Ideen zu prüfen, sollten sie nicht versuchen, eine „Einheits-KI“ zu bauen, die versucht, alle gleichzeitig zufriedenzustellen. Das führt nur zu mittelmäßigen Ergebnissen.

Stattdessen sollten sie „digitale Zwillinge“ ihrer Experten bauen. Eine KI für den Techniker, eine KI für den Marketing-Experten und eine KI für den Finanzchef. So kann man die verschiedenen Perspektiven in einer Firma simulieren, anstatt sie in einem unbrauchbaren Durchschnitt zu begraben.

Kurz gesagt: In der Welt der Ideen gibt es keine einzige Wahrheit – es gibt nur verschiedene Perspektiven. Und eine gute KI muss lernen, diese Perspektiven zu respektieren, anstatt sie zu vermischen.

Technische Zusammenfassung

Zusammenfassung: Aggregate vs. Personalisierte Richter bei der Bewertung von Geschäftsideen

Problemstellung

Während die Generierung von Geschäftsideen durch Large Language Models (LLMs) zunehmend skalierbar geworden ist, stellt die Evaluierung dieser Ideen einen kritischen Flaschenhals dar. Im Gegensatz zu Standard-NLP-Benchmarks (wie der Prüfung faktischer Korrektheit) ist die Bewertung von Geschäftsideen multidimensional (z. B. technische Machbarkeit, Marktgröße, Innovationsgrad) und subjektiv.

In der Praxis herrscht unter Experten oft eine systematische Uneinigkeit. Die aktuelle Forschung im Bereich „LLM-as-a-Judge“ geht meist davon aus, dass es einen einheitlichen Goldstandard gibt, und versucht, die Bewertungen mehrerer Experten zu einem aggregierten Mittelwert zu verschmelzen. Das Paper stellt die Frage: Sollte ein automatischer Richter ein aggregiertes Konsensmodell anstreben oder die individuellen Bewertungsmaßstäbe einzelner Experten modellieren?

Methodik

Die Autoren führen eine empirische Studie durch, die auf dem neu eingeführten PBIG-DATA-Datensatz basiert.

1. Datensatz (PBIG-DATA): Er umfasst ca. 3.000 Einzelbewertungen von 300 patentbasierten Produktideen. Die Bewertungen wurden von Domänenexperten (NLP, Informatik, Materialchemie) in sechs Dimensionen vorgenommen: Spezifität, technische Validität, Innovationskraft, Wettbewerbsvorteil, Bedarfsgültigkeit und Marktgröße.
2. Experten-Protokoll: Es wurde ein „Staged Screening“-Protokoll verwendet, bei dem nachfolgende Dimensionen nur bewertet wurden, wenn die vorangegangenen Schwellenwerte (z. B. Spezifität) erreicht wurden.
3. Vergleich der Richter-Konfigurationen: Die Autoren verglichen drei Ansätze für LLM-basierte Richter (unter Verwendung der Qwen-Modellfamilie):
   • Zero-shot Judge: Nutzt nur die Rubrik und Anweisungen ohne Beispiele.
   • Aggregate Judge: Wird mit einer Mischung aus historischen Bewertungen verschiedener Experten konditioniert (Ziel: den Durchschnitt abbilden).
   • Personalized Judge: Wird mit der spezifischen Bewertungshistorie des Ziel-Experten konditioniert (Ziel: den individuellen Stil nachahmen).

Wesentliche Beiträge

• PBIG-DATA: Ein hochqualitativer Datensatz für die geschäftsorientierte Evaluierung von KI-generierten Ideen.
• Analyse der Experten-Diskrepanz: Eine quantitative Untersuchung, die zeigt, dass Expertenmeinungen nicht einfach „Rauschen“ sind, sondern eine strukturierte Heterogenität aufweisen.
• Methodische Evidenz: Der Nachweis, dass die Wahl des Trainingsziels (Aggregat vs. Individuum) die Genauigkeit und das Verhalten des Richters fundamental verändert.

Ergebnisse

1. Strukturierte Uneinigkeit: Die Übereinstimmung der Experten bei feingranularen (ordinalen) Scores ist oft nahe Null oder sogar negativ. Das bedeutet, Experten nutzen keine gemeinsame Skala. Interessanterweise ist die Übereinstimmung bei der „groben Auswahl“ (welche Ideen sind gut/schlecht?) deutlich höher, was zeigt, dass die Diskrepanz in der Kalibrierung der Scores liegt, nicht in der grundlegenden Einschätzung der Ideenqualität.
2. Überlegenheit personalisierter Richter: Über fast alle Dimensionen und Modellgrößen hinweg korrelierten personalisierte Richter deutlich stärker mit den jeweiligen Experten als aggregierte Richter. Aggregierte Richter versuchten, einen „Durchschnitt“ zu bilden, der jedoch keinen der einzelnen Experten präzise repräsentierte.
3. Begründungsstruktur: Personalisierte Richter spiegeln nicht nur die Scores wider, sondern auch die textliche Begründung. Wenn zwei Experten ähnliche Standards haben, generieren ihre personalisierten LLM-Richter auch semantisch ähnliche Argumentationsmuster.
4. Coarse Selection: Auch bei der Identifizierung der Top-Ideen (Jaccard-Ähnlichkeit) schnitten personalisierte Richter besser ab als aggregierte Modelle.

Bedeutung und Implikationen

Die Arbeit hat weitreichende Konsequenzen für die industrielle Anwendung von KI in der Produktentwicklung:

• Abkehr vom „Einheits-Goldstandard“: In komplexen Entscheidungsprozessen ist die Annahme eines einzigen „wahren“ Scores fehlerhaft. Systeme sollten die Vielfalt der Perspektiven (z. B. technische vs. kommerzielle Sichtweise) erhalten, anstatt sie durch Aggregation zu glätten.
• Design von Evaluierungssystemen: Für Unternehmen bedeutet dies, dass KI-Richter so konzipiert werden sollten, dass sie auf die spezifischen Profile der Stakeholder (z. B. ein „Risiko-orientierter Manager“ vs. ein „Technik-orientierter Ingenieur“) eingestellt werden können.
• Unterstützung statt Ersetzung: Anstatt eine endgültige Entscheidung zu erzwingen, können solche Systeme die strukturierten Meinungsunterschiede zwischen Experten sichtbar machen und so die menschliche Entscheidungsfindung unterstützen.