Contemporary AI lacks the imagination to diverge or negate in science

Das große Ganze: Ein Realitätscheck für KI-Wissenschaftler

Stellen Sie sich eine Welt vor, in der wir einen superintelligenten Roboter bitten, uns bei der Lösung der schwierigsten Rätsel der Wissenschaft zu helfen. Wir hoffen, dass er brillante, völlig neue Ideen entwickelt, auf die Menschen noch nicht gekommen sind. Diese Arbeit ist wie ein massiver „Stresstest“ aus der realen Welt, um zu prüfen, ob dieser Roboter tatsächlich bereit für den Job ist.

Die Forscher haben die KI nicht einfach nur gebeten, eine Geschichte zu schreiben; sie baten sie, sich wie ein Wissenschaftler zu verhalten. Sie nahmen über 120.000 echte wissenschaftliche Arbeiten (aus Biologie, Medizin, Chemie und Sozialwissenschaften) und fragten die KI, sich das „Rätsel“ in jeder Arbeit anzusehen und den nächsten Schritt vorzuschlagen. Dann schickten sie diese KI-Vorschläge an die tatsächlichen Autoren dieser Arbeiten zurück, um zu sehen, was diese davon hielten.

Hier ist das, was sie herausfanden, unterteilt in drei Hauptgeschichten.

---

1. Der „Schwarmgeist“ vs. der „Wanderer“

Das Ergebnis: Die meisten KI-Modelle (die „nicht-argumentierenden“ Modelle) agieren wie ein riesiger, eindimensionaler Schwarm. Wenn man zehn von ihnen bittet, dasselbe Rätsel zu lösen, kommen sie alle mit fast der exakt gleichen Idee daher. Sie sind sich sehr ähnlich, aber sie sind auch sehr ähnlich zu dem, was Menschen bereits gesagt haben. Sie denken nicht wirklich „außerhalb der Box“; sie ordnen nur die Möbel innerhalb der Box neu an.

Die Analogie: Stellen Sie sich vor, Sie bitten zehn Schüler, eine Geschichte über einen verlorenen Hund zu schreiben.

• Nicht-argumentierende KI: Alle zehn Schüler schreiben exakt dieselbe Geschichte: „Der Hund ging in den Park, fand einen Knochen und kam nach Hause.“ Sie kopieren alle denselben populären Filmplot.
• Argumentierende KI: Diese Modelle sind etwas besser. Sie wandern ein wenig mehr im Park herum. Vielleicht schlägt der eine vor, der Hund sei zum Strand gegangen, ein anderer schlug vor, er sei zu einer Bäckerei gegangen. Sie weisen mehr Vielfalt auf.

Das fehlende Puzzleteil: Selbst die „Wanderer“ (argumentierende Modelle) haben eine blinde Stelle. Sie schlagen fast nie die Idee vor, dass „nichts passiert ist“.

• Die Analogie: Wenn ein Wissenschaftler fragt: „Macht das Essen von Blaubeeren dazu, dass man schneller rennt?“, wird die KI vorschlagen: „Ja, Blaubeeren verleihen Supergeschwindigkeit!“ oder „Vielleicht helfen sie bei der Hydration.“
• Der menschliche Zug: Ein menschlicher Wissenschaftler könnte sagen: „Eigentlich, vielleicht haben Blaubeeren gar keinen Effekt auf die Laufgeschwindigkeit.“
• Das Versagen der KI: Die KI schlägt selten die „Nullhypothese“ vor (die Idee, dass es keinen Zusammenhang gibt). Es ist wie ein Koch, der nur weiß, wie man Zutaten hinzufügt, aber vergessen hat zu sagen: „Dieses Gericht braucht gar nichts hinzugefügt.“ Die Arbeit legt nahe, dass dies daran liegt, dass die KI mit Büchern trainiert wurde, die hauptsächlich „Erfolgsgeschichten“ (positive Ergebnisse) berichten, während „Misserfolge“ (Nullergebnisse) oft in der „Schublade der Wissenschaft“ verborgen bleiben und für die KI unsichtbar sind.

2. Die „Echo-Kammer“ der Wissenschaftler

Das Ergebnis: Als die echten Wissenschaftler die Ideen der KI bewerteten, agierten sie nicht wie objektive Richter. Sie agierten wie Fans ihrer eigenen Arbeit.

• Der „Wie ich selbst“-Bias: Wissenschaftler liebten KI-Ideen, die genau wie ihre eigene bisherige Arbeit klangen. Sie hielten diese Ideen für „machbarer“ und „wahrscheinlicher wahr“. Aber ironischerweise hielten sie diese Ideen für weniger neuartig (weniger neu).
• Der „Senioritäts“-Bias: Ältere, berühmtere Wissenschaftler („Senior“-Forscher) waren viel härtere Kritiker als jüngere. Sie waren weniger bereit, KI-Ideen zu übernehmen, insbesondere in den Sozialwissenschaften.
• Der „Fachbereichs“-Bias: Wissenschaftler in der Medizin waren am offensten gegenüber der KI. Wissenschaftler in den Sozialwissenschaften waren am skeptischsten. Warum? Weil die Sozialwissenschaften unordentlich sind und stark vom Kontext abhängen (wie Kultur und Geschichte). Die KI, die aus Mustern in Daten lernt, hat Schwierigkeiten, diesen sich ändernden, komplexen menschlichen Kontext zu verstehen. Sie versucht, die „durchschnittliche“ Meinung zu kopieren, aber in den Sozialwissenschaften gibt es oft gar keine Durchschnittsmeinung, die man kopieren könnte.

Die Analogie: Stellen Sie sich eine Gruppe von Architekten vor, die ein neues Design bewerten.

• Wenn die KI ein Gebäude vorschlägt, das exakt wie der eigene frühere Wolkenkratzer des Architekten aussieht, sagt der Architekt: „Großartig! Das ist sicher und machbar!“ (aber auch: „Langweilig, das habe ich schon mal gesehen“).
• Wenn die KI ein wildes, neues Design vorschlägt, sagt der Architekt: „Das ist riskant.“
• Die älteren, berühmten Architekten sind die strengsten Kritiker. Sie sind wie die „Grand Old Men“ der Branche, die schon alles gesehen haben und sehr skeptisch gegenüber neuen Gadgets sind.

3. Die kaputte Skala

Das Ergebnis: Die wissenschaftliche Gemeinschaft nutzt derzeit andere KI-Tools, um wissenschaftliche Ideen automatisch zu bewerten (um Zeit zu sparen). Diese Arbeit testete diese Tools und fand heraus, dass sie schlecht in ihrem Job sind.

• Das Problem: Diese automatisierten Richter geben jedem eine „C“-Note. Sie scheuen sich davor, hohe oder niedrige Punktzahlen zu vergeben. Sie gruppieren alles in der Mitte. Sie können nicht zwischen einer brillanten Idee und einer schlechten Idee unterscheiden.
• Die Lösung: Die Forscher entwickelten ein neues, maßgeschneidertes „Belohnungsmodell“ (ein spezialisiertes KI-Richtermodell), das speziell darauf trainiert wurde, was menschliche Wissenschaftler tatsächlich mögen. Dieses neue Modell lernte den subtilen „Geschmack“ verschiedener wissenschaftlicher Felder. Es wurde viel besser darin, vorherzusagen, was Menschen denken würden, und schloss die Lücke zwischen einem Roboter-Richter und einem menschlichen Richter.

Die Analogie: Stellen Sie sich einen Musikwettbewerb vor, bei dem die Preisrichter Roboter sind.

• Alte Roboter-Richter: Sie hören einen Rock-Song, einen Jazz-Song und einen Country-Song und geben allen eine Punktzahl von 5,5 von 10. Sie können den Unterschied nicht erkennen.
• Neuer maßgeschneiderter Richter: Die Forscher haben einen neuen Roboter trainiert, indem sie ihm tausende Beispiele zeigten, was menschliche Musikkritiker mochten. Nun kann dieser neue Roboter sagen: „Ah, dieser Jazz-Song hat einen coolen Twist, den Menschen lieben“, und gibt ihm eine 9. Er versteht endlich den „Vibe“.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass die heutige KI ein hilfreicher Assistent, aber kein kreativer Partner ist.

• Was sie gut kann: Sie kann viele Bücher lesen, sie zusammenfassen und den nächsten logischen Schritt basierend auf dem vorschlagen, was bereits geschrieben wurde. Sie erweitert die Suche nach Ideen.
• Was ihr fehlt: Es fehlt ihr an Imagination und Negation. Sie weiß nicht, wie man sagt: „Was, wenn das falsch ist?“ oder „Was, wenn nichts passiert?“ Sie besitzt keine Neugier. Sie sagt voraus, was bereits gesagt wurde, anstatt sich zu fragen, was als Nächstes gelernt werden könnte.

Die abschließende Metapher:
Betrachten Sie die KI als eine sehr schnelle, sehr belesene Bibliothekarin.

• Wenn Sie fragen: „Welche Bücher wurden über Katzen geschrieben?“, kann die Bibliothekarin sofort eine Liste jedes jemals geschriebenen Katzenbuches erstellen.
• Aber wenn Sie fragen: „Was ist eine Katze nicht?“ oder „Was wäre, wenn Katzen fliegen könnten?“, wird die Bibliothekarin verwirrt sein. Die Bibliothekarin kennt nur die Bücher, die in den Regalen stehen. Sie weiß nichts über die Bücher, die nie geschrieben wurden, oder über die Ideen, die ausprobiert wurden und scheiterten.

Damit die Wissenschaft wirklich voranschreitet, müssen Menschen weiterhin diejenigen sein, die die seltsamen Fragen stellen, das Unmögliche imaginieren und entscheiden, was wichtig ist. Die KI kann helfen, die Bibliothek zu organisieren, aber sie kann das nächste große Kapitel des menschlichen Wissens nicht aus eigener Kraft schreiben.