🤖 AI

LLM Jaggedness Unlocks Scientific Creativity

Dieser Beitrag stellt den SciAidanBench-Benchmark vor, um zu zeigen, dass der ungleichmäßige, „zerklüftete" Fortschritt der Fähigkeiten großer Sprachmodelle über wissenschaftliche Domänen hinweg durch Ensemble-Methoden strategisch genutzt werden kann, um die KI-gestützte wissenschaftliche Kreativität über die Grenzen jedes einzelnen Modells hinaus signifikant zu steigern.

Ursprüngliche Autoren: Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die ultimative „Ideenmaschine" zu bauen, um Wissenschaftlern zu helfen, neue Experimente und Entdeckungen zu entwickeln. Man könnte annehmen, dass diese Maschinen (KI-Modelle), je größer und intelligenter sie werden, auf eine glatte, vorhersehbare Weise bei allem besser werden.

Dieser Artikel argumentiert, dass es nicht so funktioniert. Stattdessen ist der Fortschritt der KI „zerklüftet".

Stellen Sie sich ein KI-Modell nicht als eine glatte, flache Straße vor, sondern als ein felsiges Gebirge. Einige Teile des Gebirges sind gewaltige Gipfel, an denen die KI ein Genie ist; andere Teile sind tiefe Täler, in denen sie strauchelt und scheitert. Manchmal hilft es nicht, das Gebirge höher zu machen (das Modell zu vergrößern); es könnte die Klippen sogar steiler machen.

Hier ist eine Aufschlüsselung dessen, was die Forscher unter Verwendung einfacher Analogien herausfanden:

1. Die „zerklüftete" Landschaft

Die Forscher entwickelten einen Test namens SciAidanBench. Stellen Sie sich eine riesige Kiste mit 155 offenen wissenschaftlichen Fragen vor, die von „Wie entdecken wir eine neue Naturkraft?" bis „Wie verabreichen wir Medikamente an bestimmte Zellen?" reichen.

Sie baten 30 verschiedene KI-Modelle, diese Fragen zu beantworten. Sie wollten nicht nur eine richtige Antwort; sie wollten, dass die Modelle so viele einzigartige und kohärente Ideen wie möglich generieren.

Die Entdeckung:

Allgemein vs. Wissenschaft: Eine KI, die im allgemeinen kreativen Schreiben (wie dem Schreiben einer Geschichte) großartig ist, ist nicht unbedingt im wissenschaftlichen Kreativitätsprozess großartig. Es ist wie ein Koch, der beim Backen von Kuchen fantastisch ist, aber beim Grillen von Steaks schrecklich. Die Fähigkeiten übertragen sich nicht glatt.
Der „Burst"-Effekt: Selbst die intelligentesten KI-Modelle sind inkonsistent. Bei manchen Fragen haben sie einen „Burst" an Genialität und generieren 50 großartige Ideen. Bei der nächsten Frage generieren sie vielleicht nur 2. Stärkere Modelle machen nicht einfach bei allem mehr; sie haben lediglich größere Schwankungen zwischen „okay" und „fantastisch".
Der „spitzige" Experte: Innerhalb eines einzelnen Modells kann die KI ein Genie für Physik sein, aber mit Biologie kämpfen. Ihr Wissen ist keine glatte Decke; es ist eine Sammlung scharfer Spitzen.

2. Die „Zerklüftetheit" in eine Superkraft verwandeln

Normalerweise denken die Leute, diese ungleichen Fähigkeiten seien ein Fehler. Die Forscher sagen: Nein, es ist ein Feature.

Wenn Sie ein Team von Menschen haben, bei dem jeder in verschiedenen Dingen gut ist, können Sie ein Superteam aufbauen. Die Forscher versuchten drei Wege, diese „zerklüfteten" KI-Modelle zu kombinieren, um ein Meta-Modell zu erstellen (ein Team von KIs, die zusammenarbeiten):

Länger Denken (Rechenleistung zur Inferenzzeit):
- Die Analogie: Stellen Sie sich vor, Sie bitten einen Schüler, ein Matheproblem zu lösen. Wenn Sie ihn einfach die erste Antwort herausplatzen lassen, könnte er falsch liegen. Wenn Sie ihm sagen: „Nimm dir 5 Minuten Zeit zum Nachdenken, schreiben Sie Ihre Schritte auf und prüfen Sie Ihre Arbeit", wird er viel besser.
- Das Ergebnis: Wenn die KI länger „nachdenken" durfte (mehr interne Denkstufen generierte, bevor sie antwortete), produzierte sie deutlich mehr kreative wissenschaftliche Ideen.
Wissen bündeln (Der Router):
- Die Analogie: Stellen Sie sich ein Krankenhaus vor. Sie fragen den Herzchirurgen nicht, ob er ein gebrochenes Bein reparieren kann. Sie leiten den Patienten zum Spezialisten weiter.
- Das Ergebnis: Die Forscher bauten ein System, das die Frage betrachtete. Wenn es um Physik ging, sandte es die Frage an die KI, die am besten in Physik war. Wenn es um Biologie ging, sandte es sie an den Biologie-Experten. Dieses „Router"-Team schlug jedes einzelne KI-Modell, weil es immer den richtigen Experten für den Job einsetzte.
Gemeinsam Brainstormen:
- Die Analogie: Stellen Sie sich eine Gruppe von Künstlern in einem Raum vor. Künstler A malt eine Linie. Künstler B sieht diese Linie und fügt eine Form hinzu. Künstler C sieht die Form und fügt Farbe hinzu. Sie bauen auf der Arbeit der anderen auf.
- Das Ergebnis: Die Forscher ließen fünf verschiedene KI-Modelle abwechselnd Ideen zu einer einzigen Liste hinzufügen. Ein Modell schlug eine Idee vor, und das nächste Modell las sie und versuchte, sie zu verbessern oder zu erweitern. Diese „Kettenreaktion" von Ideen erzeugte eine viel reichhaltigere Reihe von Lösungen, als es jedes einzelne Modell allein könnte.

3. Das ultimative Team (Top-5-Parallel)

Die Forscher kombinierten alle drei Methoden. Sie nahmen die fünf besten KI-Modelle, ließen sie tiefgründig nachdenken und ließen sie in einer Brainstorming-Sitzung zusammenarbeiten, in der sie die Ideen der anderen sehen konnten.

Das Ergebnis: Dieses „Superteam" übertraf jedes einzelne KI-Modell allein. Es war nicht nur ein wenig besser; es glättete die zerklüfteten Kanten. Wo ein Modell ein „Tal" (eine Schwachstelle) hatte, hatte ein anderes Modell einen „Gipfel", und zusammen deckten sie den ganzen Berg ab.

Das Fazit

Der Artikel kommt zu dem Schluss, dass wir nicht einfach versuchen sollten, eine „perfekte" KI zu bauen, die bei allem gut ist. Stattdessen sollten wir die Tatsache akzeptieren, dass KIs uneben sind. Indem wir ihre spezifischen Stärken und Schwächen erkennen und sie in Teams zusammenarbeiten lassen, können wir ein Niveau wissenschaftlicher Kreativität freisetzen, das keine einzelne Maschine jemals allein erreichen könnte.

Kurz gesagt: KI ist keine glatte, perfekte Maschine. Es ist eine zerklüftete, felsige Landschaft. Aber wenn Sie wissen, wie man über die Felsen navigiert und die richtigen Kletterer zusammenbringt, können Sie die höchsten Gipfel erreichen.

Technische Zusammenfassung: LLM-Jaggedness erschließt wissenschaftliche Kreativität

Problemstellung

Mit dem Fortschritt der künstlichen Intelligenz verbessern sich die Modellfähigkeiten nicht einheitlich über Aufgaben, Domänen oder Skalen hinweg. Stattdessen folgt der Fortschritt einer „jagged frontier" (zerklüfteten Grenze), bei der die Kompetenz ungleichmäßig und unregelmäßig ist. Während frühere Studien Jaggedness über Aufgaben, Modellskalen, Denkvertiefungen und Problemlösungen hinweg identifiziert haben, bleibt eine systematische Charakterisierung dieses Phänomens speziell im Kontext der Generierung wissenschaftlicher Ideen weitgehend unerforscht. Die Autoren gehen davon aus, dass wissenschaftliche Kreativität, da sie offen-ended und generativ ist, einen idealen Blickwinkel bietet, um diese Fähigkeitsunterschiede aufzudecken. Darüber hinaus besteht, obwohl frühere Bemühungen zur Verbesserung der LLM-Vielfalt oft auf rechenintensive Trainingsinterventionen oder strukturierte Multi-LLM-Workflows zurückgreifen, die die offen-ended Generierung einschränken, ein Bedarf zu verstehen, wie diese zerklüfteten Kanten genutzt und nicht lediglich geglättet werden können, um die KI-gestützte wissenschaftliche Entdeckung zu fördern.

Methodik

Um dies zu untersuchen, stellen die Autoren SciAidanBench vor, einen Benchmark-Datensatz, der aus 155 offen-ended wissenschaftlichen Fragen besteht, die von Forschern am Brookhaven National Laboratory kuratiert wurden. Die Fragen umfassen sechs wissenschaftliche Domänen: Physik (unterteilt in Fundamentalphysik, Astrophysik, Synchrotronstrahlung und Festkörperphysik), Chemie, Biologie, Neurowissenschaften, Nanowissenschaften und Umweltwissenschaften. Die Fragen sind so formuliert, dass sie die Generierung von Konzepten fördern (z. B. „Schlagen Sie eine Methode für ... vor") anstatt die Abrufung von Fakten.

Die Studie bewertet 30 Varianten von 19 Basismodellen von 8 Anbietern (einschließlich OpenAI, Anthropic, Google und lokaler Modelle wie LLaMA 3.3 und Mistral). Das Evaluierungsprotokoll folgt der AidanBench-Methodik:

Iterative Generierung: Für jede Frage wird ein Modell aufgefordert, eine erste Idee ( $r_1$ ) zu generieren und dann iterativ erneut aufgefordert, nachfolgende Ideen ( $r_2, r_3, \dots$ ) zu generieren, wobei der Kontext vorheriger Ausgaben beibehalten wird.
Dual-Constraint-Evaluierung: Jede neue Idee muss sowohl kohärent (logisch konsistent und die Aufforderung beantwortend) als auch neu (unterscheidbar von allen vorherigen Antworten) sein.
Bewertungsmetriken:
- Embedding-basierte Neuheit: Kosinusdistanz zwischen der neuen Antwort und vorherigen Antworten unter Verwendung eines vortrainierten Embedding-Modells.
- LLM-basierte Neuheit: Ein bewertendes LLM (o1-mini) bewertet Ähnlichkeitswerte im Vergleich zu vorherigen Antworten.
- Kohärenz: Ein bewertendes LLM bewertet die logische Konsistenz auf einer Skala von 0–100.
  Die Generierung stoppt, wenn eine Antwort unter die Schwellenwerte für Neuheit (<0,15) oder Kohärenz (<15) fällt. Die Gesamtzahl der gültigen Antworten dient als Proxy für das kreative Potenzial.

Hauptbeiträge

SciAidanBench: Der erste Benchmark, der speziell entwickelt wurde, um die wissenschaftliche Kreativität von LLMs durch anhaltende, offen-ended Ideen Generierung über diverse wissenschaftliche Teilgebiete hinweg zu messen.
Charakterisierung von Jaggedness: Eine systematische Demonstration, dass Jaggedness auf drei unterschiedlichen Ebenen auftritt:
- Queraufgaben: Allgemeine Verbesserungen der Kreativität übertragen sich nicht einheitlich auf wissenschaftliche Kreativität.
- Prompt-Ebene: Stärkere Modelle zeigen eine hohe Variabilität und weisen „Ausbrüche" von Kreativität bei bestimmten Fragen auf, während sie bei anderen Schwierigkeiten haben.
- Domänenebene: Einzelne Modelle zeigen fragmentierte interne Profile mit ungleichmäßigen Stärken über wissenschaftliche Teilgebiete hinweg.
Meta-Modell-Ensembles: Die Vorstellung und Evaluierung von Ensemble-Strategien, die Jaggedness als Ressource behandeln. Die Autoren stellen Mechanismen zur Kombination von Modellen vor:
- Compute zur Inferenzzeit: Nutzung von Reasoning-Tokens zur Erweiterung des Lösungsraums.
- Wissenspooling: Weiterleitung von Fragen an Modelle mit spezifischen Domänenstärken.
- Brainstorming: Ermöglichung einer modellübergreifenden Ideenverfeinerung, bei der Modelle auf den Ausgaben anderer aufbauen.
- Top-5-Parallel: Eine Konfiguration, die alle drei Mechanismen integriert.

Ergebnisse

Queraufgaben-Divergenz: Während allgemeine und wissenschaftliche Kreativität positiv korreliert sind ( $r=0,76$ ), ist die Beziehung nicht einheitlich. Modelle, die bei allgemeiner Kreativität hoch rangieren, rangieren nicht unbedingt bei wissenschaftlicher Kreativität hoch. Beispielsweise zeigten OpenAI-Modelle starke allgemeine Kreativität, stießen jedoch bei wissenschaftlichen Aufgaben an eine Grenze, während Anthropic-Modelle im Vergleich zu ihrer allgemeinen Leistung bei wissenschaftlicher Kreativität besser abschnitten.
Prompt-Level-Variabilität: Stärkere Modelle (z. B. o3-high, Gemini-2.5-Pro) zeigen breitere Verteilungen der Antwortanzahl, was darauf hindeutet, dass ihre höheren Durchschnittswerte durch „Ausbrüche" hoher Kreativität bei bestimmten Prompts angetrieben werden und nicht durch eine einheitliche Verbesserung. Schwächere Modelle zeigen konsistent niedrige, enge Verteilungen.
Domänenfragmentierung: Top-Modelle zeigen deutliche Leistungsspitzen über Teilgebiete hinweg. Beispielsweise war Gemini-2.5-Pro in der Festkörperphysik hervorragend, aber schwächer in den Nanowissenschaften, während Claude-3.7-Sonnet-Thinking-16k in den Neurowissenschaften am stärksten, aber in der Fundamentalphysik schwächer war.
Überlegenheit von Ensembles:
- Compute zur Inferenzzeit: Reasoning-Modelle (z. B. Claude-3.7-Sonnet-Thinking) schnitten deutlich besser ab als Nicht-Reasoning-Varianten, wobei die Leistung dem tatsächlichen Token-Verbrauch und nicht dem zugewiesenen Budget folgte.
- Wissenspooling: Ein „Router"-Ensemble, das Fragen an das bestperformende Modell für jede spezifische Domäne weiterleitete, übertraf in jeder Domäne das stärkste einzelne Modell.
- Brainstorming: Ein „Top-5"-Ensemble (Stichprobe aus den fünf besten einzelnen Modellen) übertraf alle einzelnen Modelle. Ein „Top-5-Anbieter"-Ensemble (Diversifizierung nach Anbieter, aber nicht unbedingt nach Fähigkeit) konnte jedoch das stärkste einzelne Modell nicht übertreffen, was darauf hindeutet, dass das Fähigkeitsniveau kritischer ist als die reine Anbieterdiversität.
- Top-5-Parallel: Das Ensemble, das Compute zur Inferenzzeit, Wissenspooling und Brainstorming kombiniert, erzielte die höchsten Werte sowohl bei allgemeinen als auch bei wissenschaftlichen Kreativitäts-Benchmarks und übertraf jedes einzelne Modell oder Ensemble mit nur einem Mechanismus.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass Jaggedness nicht lediglich eine Einschränkung, sondern eine strukturelle Ressource des KI-Fortschritts ist. Anstatt ungleichmäßige Fähigkeitsprofile als Defekte zu betrachten, die durch Skalierung oder Ausrichtung geglättet werden müssen, demonstrieren die Autoren, dass diese Unregelmäßigkeiten genutzt werden können. Durch die Orchestrierung heterogener Modelle mittels Meta-Modell-Ensembles ist es möglich, Fragmentierung in Synergie zu verwandeln und die Generierung wissenschaftlicher Ideen über die Grenzen jedes einzelnen Modells hinaus zu verstärken.

Die Autoren schließen, dass zukünftige Gewinne bei der offen-ended Generierung wissenschaftlicher Ideen zunehmend aus Systemen stammen könnten, die Jagged Intelligence explizit erkennen, messen und orchestrieren. Sie schlagen vor, dass zukünftige Forschung gezielte Prompt-Veränderungen (z. B. cross-domain seeding) untersuchen sollte, um ungenutzte kreative Modi zu erschließen, und optimale Teamstrukturen (hierarchisch vs. horizontal) für kollaborative Ensembles erforschen sollte. Die Arbeit positioniert SciAidanBench sowohl als Benchmark für wissenschaftliche Ideation als auch als Rahmenwerk zur Aufdeckung und Nutzung struktureller Heterogenität in Modellfähigkeiten.