🤖 AI

More Than Can Be Said: A Benchmark and Framework for Pre-Question Scientific Ideation

Dieser Beitrag stellt InciteResearch vor, ein Multi-Agenten-Framework und das begleitende TF-Bench-Benchmark, die darauf ausgelegt sind, die impliziten, stillschweigenden Reibungsverluste von Forschern in explizite, handlungsleitende wissenschaftliche Erkenntnisse zu überführen, und zeigt damit, dass KI das menschliche Denken erweitern kann, indem sie die Phase der Vorfrage-Ideenfindung automatisiert und nicht nur die nachgelagerte Ausführung.

Ursprüngliche Autoren: Jie Yu, Song Qiu

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jie Yu, Song Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „leere Seite" versus das „neblige Gefühl"

Stellen Sie sich vor, Sie versuchen, ein neues Rezept zu erfinden. Die meisten aktuellen KI-Kochassistenten sind hervorragend darin, eine spezifische Anweisung zu befolgen: „Machen Sie eine Lasagne mit extra Käse." Sie können nach Rezepten suchen, die Anweisungen verfeinern und einen perfekten Eintrag für ein Kochbuch verfassen.

Aber was, wenn Sie kein Rezept im Kopf haben? Was, wenn Sie nur ein nebliges Gefühl haben? Sie könnten denken: „Ich hasse es, wie Lasagne matschig wird, und ich frage mich, ob Nudeln anders gekocht werden sollten", oder Sie haben einen zufälligen Gedanken wie: „Das fühlt sich so an, als würde ein Koffer besser passen, wenn man die Kleidung neu anordnet."

Aktuelle KI-Tools scheitern hier meist. Sie benötigen eine klare, spezifische Frage, um zu beginnen. Sie können Ihnen nicht helfen, dieses vage, frustrierende Gefühl in eine echte wissenschaftliche Idee zu verwandeln. Sie sind wie eine sehr kluge Bibliothekarin, die nur Bücher finden kann, wenn Sie bereits den exakten Titel kennen.

Die Lösung: InciteResearch (der „Gedankenübersetzer")

Die Autoren haben ein neues System namens InciteResearch entwickelt. Betrachten Sie es nicht als Roboter, der Ideen für Sie erschafft, sondern als einen kognitiven Spiegel, der Ihnen hilft, Ihre eigenen Gedanken klarer zu sehen.

Anstatt nur auf einen Befehl zu warten, agiert InciteResearch wie ein sokratischer Detektiv (benannt nach dem antiken Philosophen, der endlose Fragen stellte, um die Wahrheit zu finden). Es nimmt Ihre vagen, chaotischen Gedanken und hilft Ihnen, einen strukturierten Forschungsplan durch einen dreistufigen Prozess namens EVN-Rahmenwerk zu entwickeln.

Schritt 1: Elicitation (das „Detektiv-Notizbuch")

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Traum zu beschreiben, den Sie hatten, aber er verblasst schnell. Eine normale KI würde einfach sagen: „Erzählen Sie mir mehr." InciteResearch ist anders. Es stellt spezifische, durchdringende Fragen wie: „Was genau fühlte sich in diesem Traum falsch an? War es die Farbe? Die Geschwindigkeit?"
Was es tut: Es führt mit Ihnen ein Gespräch, um Ihr „nebliges Reibungsfeld" (das Gefühl, dass etwas nicht stimmt) in ein klares Profil zu verwandeln. Es herausfindet, warum Sie frustriert sind, wie Ihr Forschungsstil ist und was das eigentliche Problem ist. Es verwandelt ein Flüstern in einen Schrei.

Schritt 2: Violation (der „Regelbrecher")

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Brücke zu bauen, aber Sie gehen ständig davon aus, dass Sie nur Holz verwenden dürfen. Eine normale KI würde einfach bessere Holzarten vorschlagen. InciteResearch fragt: „Was, wenn wir gar kein Holz verwenden dürfen? Was, wenn die Brücke schwimmen muss?"
Was es tut: Es betrachtet die versteckten Regeln, die Sie (und die Wissenschaft) als selbstverständlich hinnehmen. Es versucht bewusst, diese Regeln zu brechen, um zu sehen, ob eine bessere, originellere Idee aufkommt. Es verbessert nicht nur die alte Idee; es stellt das gesamte Problem neu dar.

Schritt 3: Necessity (die „Logik-Polizei")

Die Analogie: Stellen Sie sich vor, Sie entwerfen eine superkomplexe Maschine, um ein Glas zu öffnen. Eine normale KI würde vielleicht sagen: „Tolle Maschine!" InciteResearch agiert wie ein strenger Ingenieur, der fragt: „Warten Sie, brauchen Sie wirklich all diese Zahnräder? Könnte eine einfache Drehung es tun? Wenn Sie diesen Teil entfernen, funktioniert die Maschine dann noch?"
Was es tut: Es prüft, ob die neue Idee tatsächlich notwendig ist. Es stellt sicher, dass jeder Teil der vorgeschlagenen Methode logisch durch die Erkenntnis gefordert ist, anstatt nur eine fancy Ergänzung zu sein, die gut klingt, aber nicht benötigt wird.

Der Test: TF-Bench

Um zu sehen, ob dies tatsächlich funktioniert, bauten die Autoren einen speziellen Test namens TF-Bench.

Das Setup: Sie gaben der KI zwei Arten von vagen Eingaben:
1. Verwandt: Ein Wissenschaftler sagt: „Mein medizinisches Datenmodell verhält sich seltsam."
2. Unverwandt: Ein Wissenschaftler sagt: „Mein Koffer passt besser, wenn ich die Kleidung neu anordne."
Das Ziel: Konnte die KI diese vagen Gedanken in einen echten, hochwertigen Forschungsantrag verwandeln?

Die Ergebnisse: Vom „Mischen" zum „Architektonischen"

Die Ergebnisse waren beeindruckend. Im Vergleich zur Standard-KI (die lediglich bestehende Ideen miteinander vermischt):

Standard-KI: Neigte dazu, „sichere" Ideen zu schaffen, die leicht zu bauen waren, aber nicht sehr neu. Wenn sie das „Koffer"-Metapher erhielt, geriet sie in Verwirrung oder machte langweilige Vorschläge.
InciteResearch: Schuf Ideen, die neuartiger (neuer) waren und eine höhere Wirkung (wichtiger) hatten.
- Als es die „Koffer"-Eingabe erhielt, geriet InciteResearch nicht in Verwirrung. Es erkannte, dass die Kernidee darum ging, dass Neuordnung das Ergebnis verändert, und wandte diese Logik auf komplexe wissenschaftliche Probleme an.
- Es wechselte vom bloßen „Rekombinieren" alter Teile zum „Architektonieren" neuer Strukturen.

Das Fazit

Das Papier argumentiert, dass KI nicht nur ein Werkzeug sein sollte, das Aufgaben ausführt, von denen wir bereits wissen, wie man sie erledigt. Stattdessen sollte KI eine Erweiterung des menschlichen Denkens sein.

Genau wie ein Teleskop unser Sehvermögen erweitert, um ferne Sterne zu sehen, erweitert InciteResearch unsere Intuition, um die Struktur unserer eigenen vagen Frustrationen zu erkennen. Es hilft uns, aus „Ich habe das Gefühl, dass etwas nicht stimmt" zu machen: „Hier ist genau, was falsch ist, und hier ist, wie man es auf eine Weise repariert, an die noch niemand gedacht hat."

Kurz gesagt: Es ist ein System, das Ihnen hilft, mit der KI zu denken, anstatt nur von der KI für Sie denken zu lassen.

Technische Zusammenfassung: InciteResearch und TF-Bench

Problemstellung

Aktuelle KI-Forschungsagenten zeigen Kompetenz bei der Automatisierung nachgelagerter Aufgaben wie Literaturrecherche, Synthese und Manuskriptverfeinerung. Diese Systeme operieren jedoch unter einer kritischen Einschränkung: Sie gehen davon aus, dass die Forschungsfrage bereits explizit, handlungsleitend und wohldefiniert ist. Sie fungieren als Ausführer innerhalb eines vorgegebenen Problemraums, nicht als kognitive Erweiterungen, die an der Entstehung von Forschung teilnehmen können.

Menschliche wissenschaftliche Inquiry beginnt hingegen oft mit „stiller Reibung" – einem Gefühl der Missalignment, Anomalie oder Unzufriedenheit, das der Formulierung einer klaren Frage vorausgeht. Bestehende Werkzeuge können vage, domainsfremde oder unentwickelte Intuitionen nicht verarbeiten, da ihnen Mechanismen fehlen, um latente Unterscheidungen zu externalisieren, versteckte Annahmen zu verletzen oder die logische Notwendigkeit vorgeschlagener Methoden zu verifizieren. Die Arbeit argumentiert, dass KI, um als genuine Erweiterung menschlichen Denkens zu dienen, die Lücke zwischen stiller Intuition und expliziter wissenschaftlicher Ideation überbrücken muss, und zwar über die bloße Rekombination bestehenden Wissens hinaus hin zu architektonischer Einsicht.

Methodik: Das InciteResearch-Framework

Die Autoren schlagen InciteResearch vor, ein Multi-Agenten-Framework, das darauf ausgelegt ist, vage menschliche Inspiration in strukturierte, handlungsleitende Forschungsanträge zu transformieren. Das System wird von einem kognitiven Zustandsautomaten gesteuert, der auf Annahmen-brechender Hypothesengenerierung (ABHG) basiert und die sokratische Fragekette in drei Kernoperatoren zerlegt: Elicitation (E), Validität/Umformulierung (V) und Notwendigkeitsprüfung (N).

1. Sokratische Elicitation (E)

Dieses Modul externalisiert die stille Intuition des Nutzers durch mehrstufige Dialoge in ein strukturiertes Forscherprofil.

Prozess: Das System führt eine semantische Ausrichtung auf den initialen Eingaben durch (die vage oder domainsfremd sein können), um Domänen- und Konfliktsignale zu extrahieren. Es setzt eine dynamische Triage- und Vertiefungsstrategie ein, um nach konkreten „Reibungspunkten" zu suchen.
Ausgabe: Ein strukturiertes fünfdimensionales Profilvektor $P_{profile} = (f, m, c, r, t)$ $P_{p r o f i l e} = (f, m, c, r, t)$ , repräsentierend:
- Reibungspunkte ( $f$ ): Die Kernquelle der Unzufriedenheit.
- Motivation ( $m$ ) & Geschmack ( $r$ ): Warum das Problem relevant ist und die Präferenzen des Forschers.
- Randbedingungen ( $c$ ) & Verfeinertes Thema ( $t$ ): Handlungsleitende Grenzen und die spezifische Problemstellung.
Funktion: Dieses Profil dient als semantische Prior, die nachfolgende Schlussfolgerungen verankert, um Domänen-Drift zu verhindern.

2. Validität und Problem-Umformulierung (V)

Dieser Operator hinterfragt die Prämissen der aktuellen Forschungsrichtung, um neue Lösungsräume zu eröffnen.

Annahmen-Mining: Das System extrahiert eine Menge versteckter Annahmen ( $A_{hidden}$ ), die von der gewählten Forschungsrichtung abhängen.
Optimierung: Es bewertet jede Annahme basierend auf zwei Dimensionen: Durchführbarkeit ( $\phi$ ) (ob ein technischer Umweg existiert) und Neuartigkeit ( $\nu$ ) (ob deren Verletzung einen unerforschten Raum eröffnet). Das System wählt die Annahme $a^*$ aus, die das Produkt $\phi(a_i) \cdot \nu(a_i)$ maximiert.
Umformulierung: Das System generiert eine logische Begründung für das Brechen von $a^*$ und rekonstruiert die Problemformulierung ( $d^\dagger$ ) unter einem neuen Koordinatensystem.
Kausaler Ableitungsnachweis: Um sicherzustellen, dass die vorgeschlagene Methode eine notwendige Konsequenz der Einsicht ist, konstruiert das System eine strenge siebenstufige Kausalkette:
$\langle \text{Problem} \to \text{Gebrochene Annahme} \to \text{Einsicht} \to \text{Behauptung} \to \text{Vorhersagen} \to \text{Randbedingungen} \to \text{Methode} \rangle$ .

3. Notwendigkeitsprüfung (N)

Dieses Modul fungiert als strenger Rezensent, um Selbstkonsistenz und Falsifizierbarkeit sicherzustellen.

Prüfungen: Es führt drei spezifische Verifikationen durch:
- Notwendigkeit: Gibt es eine einfachere Alternative? (Vermeidung von Over-Engineering).
- Genügsamkeit: Sind alle Komponenten erforderlich, um die Kernbehauptung zu stützen? (Vermeidung von post-hoc-Begründungen).
- Gegenbeispiel: Können extreme Eingangsszenarien die Kernannahmen der Methode widerlegen?
Implementierung: In der aktuellen leichten Implementierung fungiert N primär als post-hoc-struktureller Verifizierer, um die Kernwirksamkeit des EVN-Frameworks zu validieren, ohne kontinuierliche menschliche Intervention zu erfordern.

Hauptbeiträge

1. Das InciteResearch-Framework

Der primäre Beitrag ist eine Multi-Agenten-Architektur, die LLMs nicht als Quellen von Ideen ex nihilo behandelt, sondern als Instrumente, um implizites Verständnis explizit zu machen. Durch die Verteilung der sokratischen Kette über eine Pipeline ermöglicht es den Übergang von „stiller Reibung" zu „architektonischer Einsicht" und unterscheidet zwischen einfacher Rekombination und echter Problem-Umformulierung.

2. TF-Bench (Tacit-to-Explicit Benchmark)

Die Autoren stellen TF-Bench vor, den ersten Benchmark, der speziell für die Unterstützung von Forschung von implizit zu explizit entwickelt wurde.

Struktur: Er unterscheidet zwischen domainsbezogenen Eingaben (wissenschaftliche Signale, aber unterdefiniert) und domainsfremden Eingaben (metaphorische oder konzeptionelle Hinweise).
Modi: Die Evaluation umfasst vier orthogonale wissenschaftliche Modi: Vorhersage, Entdeckung, Attribution und Kausalität.
Zweck: Er adressiert das Fehlen von Datensätzen für die Ideation vor der Fragestellung, bei denen die Eingaben keine handlungsleitenden Forschungsfragen, sondern unentwickelte Intuitionsfragmente sind.

3. Evaluation der kognitiven Erweiterung

Die Arbeit liefert empirische Belege dafür, dass KI als kognitive Erweiterung und nicht nur als Automatisierungswerkzeug fungieren kann. Das Framework zeigt, dass KI durch die Erzwingung von Annahmenverletzung und Notwendigkeitsprüfung generierte Vorschläge von linguistischer Kompression hin zu struktureller Neudefinition verschieben kann.

Experimentelle Ergebnisse

Leistung auf TF-Bench

InciteResearch wurde über 5 Läufe gegen eine promptbasierte LLM-Baseline evaluiert.

Gesamtgewinne: InciteResearch erzielte einen sprunghaften Anstieg bei Neuartigkeit (von 3,671 auf 4,250) und Auswirkung (von 3,806 auf 4,397).
Domainsfremde Eingaben: Das System zeigte besondere Stärke bei domainsfremden Inspirationen, wo Neuartigkeit und Auswirkung der Baseline signifikant sanken (auf 3,454 bzw. 3,626), während die Scores von InciteResearch stiegen (auf 4,328 bzw. 4,416). Dies deutet darauf hin, dass das Framework strukturelle Einsichten aus domainsübergreifenden Metaphern extrahieren kann, anstatt an spezifische Inhalte gebunden zu sein.
Durchführbarkeits-Trade-off: InciteResearch zeigte leicht niedrigere Durchführbarkeitsscores (3,092 vs. 3,437) im Vergleich zur Baseline. Die Autoren interpretieren dies als notwendigen Trade-off: Höhere Neuartigkeit und Auswirkung erfordern das Brechen bestehender Annahmen und die Einführung unverifizierter Mechanismen, was inhärent die technische Durchführbarkeit kurzfristig senkt.

Ablationsstudien

Die Studie bestätigte die funktionale Unverzichtbarkeit jedes Operators:

Entfernung von V (Annahmenverletzung): Führte zum schwerwiegendsten Rückgang bei allen Metriken (Neuartigkeit sank auf 3,500) und beweist, dass Annahmenverletzung eine strukturelle Notwendigkeit und nicht nur ein Neuartigkeits-Booster ist.
Entfernung von E (Elicitation): Resultierte in einem signifikanten Rückgang bei Neuartigkeit und Auswirkung, mit einem leichten Anstieg der Durchführbarkeit. Dies bestätigt, dass die Verankerung der Generierung an echten Reibungspunkten für hochwertige Ideation entscheidend ist.
Entfernung von N (Notwendigkeitsprüfung): Verursachte den geringsten Rückgang, konsistent mit ihrer Rolle als post-hoc-Verifizierer in der aktuellen leichten Implementierung.

Evaluationskonsistenz

Die Inter-Rater-Übereinstimmung zwischen LLM-Evaluatoren und menschlichen Experten ergab einen gewichteten Cohen's kappa von 0,624 (moderate Übereinstimmung), während die menschlich-menschliche Übereinstimmung 0,748 (substantielle Übereinstimmung) betrug, was die Zuverlässigkeit der automatisierten Evaluationsmetriken validiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Fortschritt der KI-Fähigkeit in der Forschung nicht als Ersetzung menschlicher Intuition durch KI betrachtet werden sollte, sondern als Erweiterung der Intuition durch KI. Indem es implizites Verständnis explizit, überprüfbar und handlungsleitend macht, demonstriert InciteResearch, dass KI als Erweiterung des Denkens selbst dienen kann.

Die Arbeit postuliert, dass die Legitimität eines Forschungsproblems nicht aus seiner Korrespondenz zu bestehenden Literaturlücken stammt, sondern aus der Reflexion über und dem Brechen der konzeptionellen Rahmen, die das Problem konstituieren. Die Autoren schließen, dass ihr Framework einen Schritt hin zu einem neuen Paradigma der menschlich-KI-wissenschaftlichen Zusammenarbeit darstellt, bei dem das Modell als kognitiver Verstärker fungiert, der an der kognitiven Entstehung von Forschung teilnehmen kann, anstatt lediglich nachgelagerte Ausführung zu automatisieren. Die Autoren bleiben bescheiden und erkennen an, dass die aktuelle Implementierung auf leichte strukturierte Interaktion beschränkt ist und die Fülle der langfristigen Bildung menschlicher Intuition noch nicht vollständig erfasst.