Ontology-constrained multi-LLM scoring of hypothesis support in the predictive processing literature
Dieses Paper führt eine ontologiegesteuerte Multi-LLM-Pipeline ein, die fragmentierte Literatur zum Predictive Coding synthetisiert, indem sie Studien anhand eines definierten Glossars von Hypothesen bewertet und dadurch auditierbare Diskrepanzmessungen sowie quantitative Evidenzräume generiert, die konventionelle Meta-Analysen nicht auflösen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine riesige, chaotische Bibliothek zu verstehen, in der tausende Wissenschaftler Bücher darüber geschrieben haben, wie das menschliche Gehirn die Zukunft vorhersagt. Das Problem ist, dass diese Bücher in verschiedenen Sprachen verfasst sind, unterschiedliche Karten verwenden und sich manchmal widersprechen. Einige Autoren beschreiben „Vorhersagefehler“ (prediction errors) so, als wären sie elektrische Funken, während andere sie als statistische Wahrscheinlichkeiten beschreiben. All diese Bücher zu lesen und herauszufinden, worüber sich die wissenschaftliche Gemeinschaft tatsächlich einig ist, gleicht dem Versuch, ein riesiges Puzzle zusammenzusetzen, bei dem die Teile aus verschiedenen Kartons stammen.
Dieses Paper beschreibt einen neuen Weg, dieses Puzzle zu lösen, indem eine Gruppe von KI-„Bibliothekaren“ eingesetzt wird.
Das Problem: Eine fragmentierte Bibliothek
Die Autoren konzentrieren sich auf ein spezifisches Feld namens Predictive Coding. Dies ist die Idee, dass unser Gehirn ständig errät, was als Nächstes passieren wird, und nur dann aufmerksam wird, wenn die Realität uns überrascht (wie das Hören eines lauten Geräusches in einem ruhigen Raum).
Über die Jahre haben Wissenschaftler dies mit vielen verschiedenen Werkzeugen untersucht: Gehirnscans, elektrische Aufzeichnungen, Computermodelle und Verhaltenstests. Da die Methoden so unterschiedlich sind, ist es schwierig, die Ergebnisse zu einem klaren Gesamtbild zusammenzuführen. Traditionelle Wege der Zusammenfassung wissenschaftlicher Erkenntnisse (Meta-Analysen) erfordern normalerweise, dass alle Studien exakt gleich durchgeführt wurden, was hier jedoch nicht möglich ist.
Die Lösung: Ein Rat aus KI-Bibliothekaren
Anstatt dass ein einzelner menschlicher Experte versucht, alles zu lesen, haben die Autoren eine lokale Multi-LLM-Pipeline entwickelt. Stellen Sie sich dies als einen „Rat“ aus zehn verschiedenen KI-Modellen vor (wie ein Team aus zehn distinkten Experten), die zusammen in einem sicheren, privaten Raum (lokale Ausführung) arbeiten, damit keine sensiblen Daten ihren Computer verlassen.
So hat das KI-Team zusammengearbeitet:
Das Regelwerk (Die Ontologie): Bevor die KI mit dem Lesen begann, erstellten die menschlichen Autoren ein striktes „Glossar“ oder Regelwerk. Dieses definierte 36 spezifische Konzepte, nach denen die KI suchen sollte, gruppiert in drei Hauptideen (Hypothesen):
- Predictive Suppression (Vorhersage-Unterdrückung): Beruhigt sich das Gehirn, wenn es etwas erwartet?
- Feedforward Error Propagation (Vorwärtsgerichtete Fehlerfortpflanzung): Wenn das Gehirn überrascht wird, sendet es dann einen „Schrei“ aus Fehlersignalen nach oben in der Hierarchie?
- Ubiquity (Allgegenwärtigkeit): Wird diese „Vorhersagemaschine“ überall im Gehirn genutzt oder nur in bestimmten Bereichen?
Der Leseprozess: Das KI-Team las 31 wissenschaftliche Arbeiten. Sie lasen nicht nur den Text, sondern betrachteten auch die Abbildungen und Diagramme (unter Verwendung eines speziellen Vision-Tools), um die Daten zu verstehen.
Die Bewertung: Für jede Arbeit gab jedes der 10 KI-Modelle einen Score von -1 (starke Ablehnung) bis +1 (starke Zustimmung) für jede der drei Hauptideen. Dabei mussten sie genau zitieren, wo in der Arbeit sie ihre Beweise fanden, was einer strengen Peer-Review fungierte.
Die Ergebnisse: Die Landschaft kartieren
Sobald das KI-Team die Bewertungen abgeschlossen hatte, behandelten die Autoren die Ergebnisse wie eine 3D-Karte.
- „Lokal“ vs. „Global“ Oddball: Sie testeten die Arbeiten in zwei verschiedenen Szenarien:
- Lokaler Oddball: Eine einfache Überraschung (wie ein Piepton in einer Serie von Pieptönen).
- Globaler Oddball: Eine komplexe, langfristige Musterüberraschung (wie eine Regeländerung in einem Spiel).
- Die Erkenntnisse:
- Übereinstimmung: Der KI-Rat fand heraus, dass die meisten Arbeiten darin übereinstimmten, dass das Gehirn „Predictive Suppression“ betreibt (es wird ruhiger bei erwarteten Ereignissen) und Fehlersignale vorwärts sendet.
- Uneinigkeit: Es gab deutlich weniger Übereinstimmung darüber, ob diese Mechanismen überall im Gehirn stattfinden (Ubiquity).
- Die Wendung: Die Übereinstimmung war bei einfachen „lokalen“ Überraschungen viel stärker als bei komplexen „globalen“ Überraschungen. Der „globale“ Kontext war viel ungeordneter und zerstreuter.
Neue Werkzeuge zur Messung der Wissenschaft
Die Autoren erfanden clevere Wege, um zu messen, wie „zusammenhängend“ die wissenschaftliche Literatur ist:
- Hypothesenraum-Temperatur: Stellen Sie sich die wissenschaftlichen Arbeiten wie Gaspartikel in einem Glas vor. Wenn sie alle in einer Ecke zusammengeballt sind, ist die „Temperatur“ niedrig (hohe Übereinstimmung). Wenn sie wild über das ganze Glas springen, ist die „Temperatur“ hoch (hohe Uneinigkeit).
- Sie fanden heraus, dass die „Temperatur“ bei einfachen lokalen Überraschungen niedrig war (Wissenschaftler sind sich einig).
- Bei komplexen globalen Überraschungen war die „Temperatur“ hoch (Wissenschaftler sind uneinig).
- Der Ausreißer: Sie identifizierten eine spezifische Arbeit (Westerberg et al., 2025), die sich stark vom Rest unterschied. Sie widersprach der Standardansicht, insbesondere in Bezug auf komplexe globale Muster. Der KI-Rat konnte diese Arbeit erfolgreich als „Ausreißer“ markieren, ohne menschliche Voreingenommenheit.
Warum das wichtig ist
Dieses Paper demonstriert, dass ein Team von KI-Modellen, geleitet von einem strengen, von Menschen erstellten Regelwerk, ein chaotisches, fragmentiertes Forschungsfeld lesen und in eine saubere, quantitative Karte verwandeln kann.
- Auditierbarkeit: Da die KI-Modelle lokal laufen und Protokolle ihrer Argumentation führen, können Menschen ihre Arbeit überprüfen.
- Messung von Uneinigkeit: Anstatt nur zu sagen, dass „Wissenschaftler uneinig sind“, misst diese Methode, wie sehr sie uneinig sind und wo die Uneinigkeit auftritt.
- Skalierbarkeit: Dieser Ansatz kann mehr Arbeiten bewältigen, als ein menschliches Team jemals könnte, sodass die Wissenschaft mit dem rasanten Wachstum neuer Forschung Schritt halten kann.
Kurz gesagt: Die Autoren haben eine Maschine gebaut, die eine chaotische Bibliothek lesen, die Bücher in eine ordentliche 3D-Karte sortieren und uns genau sagen kann, wo sich die Wissenschaftler synchron sind und wo sie noch streiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.