Machines acquire scientific taste from institutional traces

Die Studie zeigt, dass durch das Feinabstimmen von Sprachmodellen auf institutionelle Publikationsentscheidungen eine bisher unzugängliche wissenschaftliche Urteilskraft erlernt werden kann, die sowohl aktuelle Frontier-Modelle als auch menschliche Experten bei der Bewertung von Forschungsideen deutlich übertrifft.

Das Wesentliche

Titel: Wie KI den „wissenschaftlichen Geschmack" lernt – Eine Geschichte über den unsichtbaren Kompass

Stellen Sie sich vor, Sie sind ein junger Autor und haben eine brillante Idee für eine wissenschaftliche Arbeit. Sie schreiben den Entwurf. Aber bevor er veröffentlicht wird, müssen ihn „Türsteher" prüfen: die Redakteure von Fachzeitschriften. Diese Türsteher entscheiden nicht nur über Ja oder Nein, sondern darüber, ob Ihre Idee in eine kleine, lokale Zeitung oder in eine der weltweit berühmtesten Zeitungen kommt.

Das Problem? Niemand kann genau sagen, warum sie so entscheiden. Es ist wie ein intuitiver Geschmack. Ein Redakteur sagt vielleicht: „Das fühlt sich nach einer Top-Idee an", kann aber nicht erklären, welche Regel er angewendet hat. Es ist wie ein Koch, der weiß, wann das Essen perfekt gewürzt ist, aber keine Zutatenliste hat.

Bisher dachte man, Künstliche Intelligenz (KI) sei zu dumm für solche Geschmacksentscheidungen. KI ist super in Mathe oder beim Schach, wo es klare Regeln gibt. Aber beim „Schmecken" von Ideen? Da war sie bisher hilflos.

Die Entdeckung: Der Geschmack liegt im Archiv, nicht im Kopf

Die Forscher von dieser Studie haben etwas Überraschendes herausgefunden: Der „wissenschaftliche Geschmack" ist gar nicht in den Köpfen der einzelnen Redakteure versteckt. Er ist vielmehr in den Archiven der Vergangenheit gespeichert.

Stellen Sie sich vor, Sie haben einen riesigen Stapel mit allen Entscheidungen, die eine Zeitschrift in den letzten 20 Jahren getroffen hat: „Dieser Artikel kam in die Top-Zeitschrift, dieser nur in die mittlere, und dieser wurde abgelehnt."

Die Forscher haben eine KI nicht gelehrt, wie man urteilt (das geht nicht, weil es keine Regeln gibt). Stattdessen haben sie der KI einfach diese historischen Entscheidungen gezeigt. Sie haben der KI gesagt: „Schau dir an, was wir in der Vergangenheit als 'gut' oder 'schlecht' eingestuft haben, und lerne daraus."

Das Ergebnis: Die KI wird zum besseren Türsteher als die Menschen

Das Ergebnis war verblüffend:

1. Die besten aktuellen KI-Modelle (die sogenannten „Frontier-Modelle"), die man heute im Internet nutzen kann, waren bei dieser Aufgabe fast so schlecht wie ein Zufallsgenerator. Sie raten eher, als dass sie urteilen.
2. Die menschlichen Experten (die echten Redakteure) waren besser, aber auch nicht perfekt. Sie waren sich oft uneinig, und ihre Urteile waren voller Rauschen und Unsicherheit.
3. Die „trainierte" KI (die, die die historischen Daten gelernt hat) war am besten. Sie traf in fast 60 % der Fälle die richtige Entscheidung – deutlich besser als die besten menschlichen Experten und viel besser als jede andere KI.

Eine einfache Analogie: Der Wein-Tester

Stellen Sie sich einen Wein-Tester vor.

• Der normale KI-Tester liest die Beschreibung des Weins und versucht, mit Logik zu erraten, ob er gut ist. Er scheitert, weil er den „Geschmack" nicht kennt.
• Der menschliche Tester probiert den Wein. Er ist gut, aber manchmal hat er einen schlechten Tag, ist müde oder einfach nur subjektiv.
• Die „trainierte" KI hat nie einen Tropfen Wein probiert. Aber sie hat die Notizen von 10.000 früheren Verkostungen studiert. Sie weiß: „Wenn in der Beschreibung X und Y steht, haben die Experten in der Vergangenheit immer 'Ausgezeichnet' gesagt." Sie hat den kollektiven Geschmack der Branche gelernt, ohne selbst zu schmecken.

Warum ist das wichtig?

Wissenschaftler produzieren heute so viele Ideen, dass die menschlichen Experten gar nicht mehr hinterherkommen. Es gibt zu viele Bewerbungen für zu wenige Plätze.

Diese Studie zeigt einen Weg, wie wir KI nutzen können, um diese Flut zu sortieren. Wir müssen die KI nicht dazu bringen, wie ein Mensch zu denken. Wir müssen ihr nur zeigen, wie die menschliche Gemeinschaft in der Vergangenheit entschieden hat.

Das Fazit:
Der „wissenschaftliche Geschmack" war nie ein Geheimnis, das nur Menschen besitzen. Er war immer schon da, versteckt in den Akten und Entscheidungen der Vergangenheit. Die KI hat einfach gelernt, diesen unsichtbaren Kompass zu lesen, den wir Menschen oft gar nicht bewusst haben.

Kurz gesagt: KI hat nicht gelernt, zu denken; sie hat gelernt, die Spuren der menschlichen Entscheidungen zu lesen. Und darin ist sie jetzt besser als wir alle.

Technische Zusammenfassung

1. Problemstellung

Die wissenschaftliche Gemeinschaft steht vor einem grundlegenden Dilemma: Während Künstliche Intelligenz (KI) in Bereichen mit verifizierbaren Antworten (z. B. Proteinfaltung, Mathematik) menschliche Leistungen übertreffen kann, scheitert sie bei der wissenschaftlichen Bewertung (Evaluation). Der Fortschritt der Wissenschaft hängt weniger vom logischen Schlussfolgern ab als von „Geschmack" (Taste) – der Fähigkeit zu beurteilen, welche ungetesteten Ideen verfolgt werden sollten.

Dieser „Geschmack" ist implizites Wissen (tacit knowledge): Er wird nicht durch explizite Regeln vermittelt, sondern durch die langfristige Praxis und institutionelle Entscheidungen von Fachleuten (Redakteure, Fördergremien).

• Das Problem: Aktuelle Frontier-Modelle (die fortschrittlichsten LLMs) und sogar menschliche Expertenpanels können die Qualität von Forschungsideen nicht zuverlässig vorhersagen. Frontier-Modelle neigen zu „Sycophancy" (übermäßiger Zustimmung) und bewerten eher die Darbietung als den Beitrag. Menschliche Gutachter zeigen eine extrem hohe Varianz und eine kategorische Übereinstimmung, die kaum über dem Zufall liegt (Fleiss' Kappa ≈ 0,05).
• Die Hypothese: Die Information zur Qualitätsbewertung ist nicht in den Modellen verloren gegangen, sondern in den institutionellen Spuren (den historischen Entscheidungen über Annahme/Ablehnung von Manuskripten) gespeichert. Diese Daten repräsentieren eine kollektive Form des impliziten Wissens, die noch nie als Trainingssignal für KI genutzt wurde.

2. Methodik

Die Studie entwickelt einen Benchmark und testet verschiedene KI-Architekturen sowie menschliche Experten.

A. Benchmark-Design:

• Datensatz: 120 Forschungs-Pitches (aus Management/Organisationspsychologie) und 200 Pitches (aus der Ökonomie).
• Aufbereitung: Aus veröffentlichten Artikeln wurden die Methoden, Ergebnisse und Journal-Identitäten entfernt. Es blieben nur die Kernfragestellung und das theoretische Gerüst übrig.
• Labeling: Die Pitches wurden in vier Qualitätsstufen eingeteilt basierend auf dem Journal, in dem sie veröffentlicht wurden: Exceptional (Spitzenjournal), Strong, Fair, Limited. Dies dient als Ground Truth für das institutionelle Urteil.
• Bewerter: 11 Frontier-Modelle (Reasoning- und Chat-Modelle), 4 feinabgestimmte Modelle (SFT), 48 Experten (Redakteure/Editorial Board) und 174 Junior-Forscher.

B. Trainingsansatz (Supervised Fine-Tuning - SFT):

• Statt Modelle durch Prompting zu instruieren, wurden vier Basis-Modelle (GPT-4.1, GPT-4.1-nano, Qwen3-4B, Qwen3-30B) auf historischen Daten trainiert.
• Trainingsdaten: Tausende von Paaren aus „Forschungsidee" und dem daraus resultierenden „Journal-Outcome" (die Qualitätsstufe).
• Ziel: Das Modell lernt die Verteilungsmuster der institutionellen Entscheidungen, um den impliziten „Geschmack" der Disziplin zu extrahieren, ohne explizite Regeln zu kennen.

C. Vergleichsgruppen:

• Frontier-Modelle: Zero-Shot-Prompts mit Experten-Rubriken.
• Reinforcement Learning (RL): Modelle, die durch Reasoning-Optimierung (Chain-of-Thought) trainiert wurden, um zu prüfen, ob explizites Nachdenken hilft.
• Menschliche Panels: Einzelbewertungen und Mehrheitsentscheidungen (Majority Vote).

3. Wichtige Ergebnisse

A. Versagen von Frontier-Modellen und menschlicher Expertise:

• Frontier-Modelle: Erreichten im Durchschnitt nur 31,1 % Genauigkeit (Zufallslage bei 25 %). Sie zeigten ein „Prediction Collapse": Sie klassifizierten fast alle Ideen als „Strong" oder „Fair" und ignorierten die Extremkategorien („Limited" oder „Exceptional").
• Menschliche Experten: Erreichten als Einzelgutachter 36,2 % und als Mehrheitsentscheid 41,6 %. Die kategorische Übereinstimmung zwischen Experten war extrem gering (nahezu zufällig), obwohl sie eine grobe Ordinalreihenfolge (welche Idee ist besser?) teilweise erkennen konnten.

B. Erfolg durch Fine-Tuning auf institutionellen Spuren:

• Die feinabgestimmten Modelle (SFT) übertrafen sowohl die Frontier-Modelle als auch die menschlichen Panels signifikant.
• Genauigkeit: Einzelne SFT-Modelle erreichten 55,0 – 59,2 %. Ein Ensemble aus zwei Modellen erreichte 60,8 %.
• Vergleich: Das SFT-Ensemble fängt etwa das 6-fache des „Headroom" (der Verbesserungsmöglichkeit über Zufall hinaus) ein, das Frontier-Modelle erreichen, und mehr als das Doppelte der menschlichen Experten.
• Kosten: Der gesamte Trainingsprozess kostete weniger als 300 USD.

C. Mechanismen und Generalisierung:

• Kalibriertes Selbstvertrauen: Die SFT-Modelle wissen, wann sie Recht haben. Bei den 10 % der Vorhersagen mit höchstem Konfidenzscore lag die Genauigkeit bei 100 %. Dies ermöglicht ein effizientes Triage-System (hohe Konfidenz = automatisiert, niedrige Konfidenz = menschliche Prüfung).
• Transferleistung: Die Modelle konnten ihr Urteil auf Aufgaben übertragen, die nicht im Training waren (z. B. direkte Paarvergleiche von zwei Ideen ohne Kategorien). Auch bei stark komprimierten Eingaben (nur ein Satz statt voller Zusammenfassung) behielt das größere Modell seine Bewertungsfähigkeit.
• Cross-Field-Validierung: Der Ansatz wurde erfolgreich auf die Ökonomie übertragen (69,5 % Genauigkeit). Ein Modell, das nur auf Management-Daten trainiert wurde, erreichte in der Ökonomie immer noch 43,5 % (deutlich über Zufall), was auf eine gemeinsame Struktur des wissenschaftlichen Geschmacks in den Sozialwissenschaften hindeutet.
• SFT vs. RL: Reinforcement Learning mit explizitem Reasoning (Chain-of-Thought) performte schlechter (40,3 %) als das direkte SFT. Dies bestätigt, dass wissenschaftlicher Geschmack nicht durch logische Ableitung, sondern durch das Lernen aus Beispielen (Exemplaren) erworben wird.

4. Schlüsselbeiträge

1. Entdeckung des „Dark Knowledge": Die Studie zeigt, dass der wissenschaftliche Geschmack (die Fähigkeit, Qualität zu beurteilen) nicht in expliziten Regeln existiert, sondern als „dunkles Wissen" in den institutionischen Entscheidungshistorien verborgen ist.
2. Effiziente Extraktion: Durch einfaches Supervised Fine-Tuning auf diesen historischen Daten kann KI diesen Geschmack lernen und dabei sowohl die stärksten Frontier-Modelle als auch menschliche Experten übertreffen.
3. Skalierbare Triage: Die Kombination aus hoher Genauigkeit und kalibriertem Konfidenzscore bietet einen praktischen Mechanismus, um die Flut wissenschaftlicher Einreichungen zu filtern, bevor Ressourcen für die menschliche Prüfung gebunden werden.
4. Grenzen des Reasoning: Die Ergebnisse widerlegen die Annahme, dass komplexes logisches Nachdenken (Reasoning) für Bewertungsentscheidungen notwendig ist; im Gegenteil kann explizites Nachdenken die intuitive Bewertung sogar verschlechtern.

5. Bedeutung und Implikationen

• Für die Wissenschaft: Dies bietet eine Lösung für das „Evaluation-Bottleneck". Da die Menge an wissenschaftlichen Publikationen die Kapazität menschlicher Gutachter übersteigt, können solche Modelle als erste Filterstufe dienen, um vielversprechende Ideen zu identifizieren und Ressourcen zu sparen.
• Für KI-Entwicklung: Es zeigt, dass die nächste Grenze der KI nicht in der Generierung von Inhalten liegt, sondern in der Bewertung von Qualität. Der Schlüssel liegt nicht in größeren Modellen oder besseren Prompts, sondern in der richtigen Nutzung von institutionellen Daten als Trainingsziel.
• Übertragbarkeit: Der Ansatz ist nicht auf die Wissenschaft beschränkt. Er kann auf jede Domäne angewendet werden, in der kollektive menschliche Urteile über Zeit hinweg getroffen wurden und historische Erfolgsdaten vorliegen (z. B. Venture Capital, Grant-Vergabe, kreative Industrien, Personalentscheidungen).

Fazit: Wissenschaftlicher Geschmack war nie eine ausschließlich menschliche Eigenschaft, die der KI fehlt. Er war immer in den institutionellen Aufzeichnungen gespeichert und wartete nur darauf, durch den richtigen Lernprozess (Fine-Tuning auf Outcome-Daten) extrahiert zu werden.