🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

Dieses Paper stellt das Hypothesis Evolution Protocol (HEP) vor, ein Framework, das Large-Language-Model-Agenten mit expliziten, auditierbaren Operationen zur Hypothesengenerierung, zum Testen und zur Überarbeitung von Überzeugungen ausstattet und dadurch eine transparente sowie verifizierbare KI-gestützte wissenschaftliche Entdeckung ermöglicht.

Ursprüngliche Autoren: Izumi Takahara, Teruyasu Mizoguchi

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Izumi Takahara, Teruyasu Mizoguchi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Detektiv engagiert, um ein Rätsel darüber zu lösen, warum bestimmte Materialien spezifische Kristallformen bilden. In der Vergangenheit haben diese Roboter-Detektive (genannt LLM-Agenten) herumgelaufen, Dinge ausprobiert und ihre Gedanken in ein unordentliches, unorganisiertes Notizbuch gekritzelt. Wenn man sie fragte: „Warum hast du das gedacht?“ oder „Wie hast du deine Meinung geändert?“, zeigten sie nur auf eine wirre Textseite. Es war unmöglich zu sagen, ob sie tatsächlich aus ihren Fehlern lernten oder nur wild ratierten.

Die Autoren dieser Arbeit sagen: „Das reicht für echte Wissenschaft nicht aus.“ Also bauten sie ein neues Regelwerk namens Hypothesis Evolution Protocol (HEP). Stellen Sie sich HEP nicht als Notizbuch vor, sondern als einen strengen, transparenten Gerichtssaal, in dem der Roboter-Detektiv seinen Fall präsentieren muss.

Der alte Weg vs. der neue Gerichtssaal

Im alten „Planungsstil“-Ansatz sprang der Roboter einfach von „Ich habe eine Idee“ zu „Lass uns das testen“ zu „Hier ist das Ergebnis“, ohne jemals klar zu formulieren: „Ich glaube nun, dass diese Idee zu 80 % wahr ist, weil dieses spezifische Testresultat dies zeigt.“ Es war wie ein Detektiv, der einen Fall löst, aber sich weigert, das Beweisprotokoll vorzuzeigen.

Mit HEP wird jede einzelne Idee, die der Roboter hat, wie ein beständiger Charakter in einer Geschichte behandelt.

Die Geburt: Wenn der Roboter eine neue Idee (eine Hypothese) entwickelt, erhält sie eine eindeutige ID-Karte und einen „Überzeugungswert“ (eine Wahrscheinlichkeit von 0 bis 1), der zeigt, wie sicher sich der Roboter ist.
Der Prozess: Der Roboter führt Tests durch. Wenn die Testergebnisse gut sind, werden sie wie Beweismittel in einer Akte an die Idee angeheftet.
Das Urteil: Der Überzeugungswert der Idee steigt oder sinkt basierend nur auf diesem Beweis.
- Wenn der Wert 0,8 oder höher erreicht, wird die Idee als „Unterstützt“ erklärt (Schuldig im Sinne der Wahrheit!).
- Wenn er auf 0,2 oder niedriger fällt, ist sie „Widerlegt“ (Nicht schuldig oder schlichtweg falsch).
- Wenn er in der Mitte feststeckt, geht sie in den Status „Dormant“ (Schlafend, bis neue Beweise sie aufwecken).

Das Beste daran? Der Roboter kann nicht schummeln. Er kann nicht einfach sagen: „Ich habe meine Meinung geändert, weil ich es so wollte.“ Er muss das spezifische Beweisstück zeigen, das den Wert bewegt hat. Und wenn der Roboter versucht, einen Schritt zu überspringen, sagt das System: „Nö, versuch es nochmal.“

Was der Roboter tatsächlich tat

Die Forscher testeten dieses neue System an drei kniffligen materialwissenschaftlichen Rätseln. Sie baten den Roboter herauszufinden, welche Kristallstruktur ein bestimmtes Computermodell für verschiedene Familien von Verbindungen bevorzugt und warum.

So verliefen diese Simulationen:

Der Roboter lernte: Der mit HEP ausgestattete Roboter ratiert nicht nur; er durchläuft tatsächlich den vollen Zyklus von „Idee → Test → Beweis → Aktualisierung der Überzeugung“. In einem speziellen Durchlauf generierte er 16 verschiedene Ideen, testete sie und führte sie schließlich zu einer finalen „Master-Regel“ mit einem Überzeugungswert von 0,97 zusammen.
Der alte Roboter scheiterte: Als sie dieselben Aufgaben mit einem Standard-Roboter (ohne HEP) durchführten, verbrachte dieser 83 % seiner Zeit damit, lediglich Tests durchzuführen, und 0 % seiner Zeit damit, seine Überzeugungen explizit zu aktualisieren. Er „lernte“ nie wirklich in einer Weise, die man hätte nachverfolgen können.
Die Kehrseite: Der Roboter war ehrlich genug, seine Meinung zu ändern. In einem Fall begann er mit einer 50-prozentigen Überzeugung für eine Lehrbuch-Idee, doch die Beweise bewiesen das Gegenteil, wodurch der Wert auf 0,14 sank. Er wechselte daraufhin zu einer neuen, besseren Idee. Dieser „Überzeugungswechsel“ (Belief Flip) geschah in allen drei Aufgaben.

Die „Gehirnleistung“-Anforderung

Es gibt jedoch einen Haken. Dieses neue Gerichtssystem funktioniert am besten, wenn der Roboter ein großes Gehirn hat. Die Forscher testeten HEP mit drei verschiedenen Versionen des Roboter-„Gehirns“ (LLMs):

Das Super-Gehirn (GPT-5.5): Es generierte durchschnittlich 14,7 Ideen pro Durchlauf und ging 4,7 Ebenen tief, wobei es Ideen verfeinerte und zusammenführte wie ein Profi.
Das mittlere Gehirn (GPT-5.4-mini): Es generierte durchschnittlich nur 6,7 Ideen und blieb bei einer Tiefe von 1,7 stecken.
Das kleine Gehirn (GPT-4.1): Es schaffte nur 4,0 Ideen und eine Tiefe von 0,7. Es gab oft auf und ließ Ideen „offen“ sowie ungelöst.

Dies deutet darauf hin, dass die Regeln (HEP) zwar großartig sind, der Roboter aber dennoch klug genug sein muss, um ihnen zu folgen. Ein weniger leistungsfähiger Roboter kann die komplexen Aufgaben der Verfeinerung und Zusammenführung von Ideen über die Zeit hinweg einfach nicht bewältigen.

Das Fazit

Dieses Paper behauptet nicht, die gesamte Wissenschaft gelöst zu haben oder einen Roboter erschaffen zu haben, der menschliche Wissenschaftler ersetzt. Stattdessen zeigt es, dass wir – indem wir KI-Agenten dazu zwingen, ein strenges, prüfbares Protokoll ihrer Ideen und Beweise zu führen – endlich sehen können, wie sie denken.

In diesen Simulationen gelang es dem HEP-System, einen „Black Box“-Roboter in einen transparenten Roboter zu verwandeln, der seine eigene Argumentation nachverfolgen, seine Meinung basierend auf Daten ändern und ein solides Plädoyer für seine endgültige Antwort aufbauen konnte. Es ist ein Schritt hin zu KI-Wissenschaftlern, denen wir tatsächlich vertrauen, die wir prüfen und von denen wir lernen können, anstatt einfach nur auf ihr Wort zu hören.

Technisches Resümee: Hin zu auditierbaren KI-Wissenschaftlern durch das Hypothesis Evolution Protocol

Problemstellung

Obwohl Large Language Model (LLM)-Agenten vielversprechende Ansätze für die autonome wissenschaftliche Entdeckung zeigen, mangelt es aktuellen Implementierungen oft an rigorosen Strukturen des wissenschaftlichen Schließens. Bestehende Agenten automatisieren typischerweise vordefinierte Arbeitsabläufe oder optimieren auf externe Ziele, versäumen es jedoch, den Kernzyklus der wissenschaftlichen Untersuchung – das Aufstellen von Hypothesen, das Testen, das Sammeln von Evidenz und das Aktualisieren von Überzeugungen – explizit zu verwalten. In aktuellen Systemen sind diese Prozesse in unstrukturierten Protokollen oder impliziten internen Zuständen verborgen. Infolgedessen können weder der Agent noch menschliche Forscher nachvollziehen, welche Hypothesen in Betracht gezogen wurden, wie Evidenz die Aktualisierung von Überzeugungen beeinflusste oder wie Schlussfolgerungen gezogen wurden. Jüngste Analysen deuten darauf hin, dass in vielen Agenten-Traces Evidenz ignoriert wird und Überzeugungen nach einer Widerlegung selten revidiert werden. Ohne ein explizites, auditierbares Protokoll des Hypothese–Test–Evidenz–Überzeugung-Zyklus kann die wissenschaftliche Fundiertheit der Schlussfolgerungen eines Agenten nicht verifiziert werden, noch kann der Agent seine eigenen Hypothesen über lange Forschungszeiträume hinweg systematisch aufbauen oder außer Kraft setzen.

Methodik: Das Hypothesis Evolution Protocol (HEP)

Um diese Einschränkungen zu adressieren, schlagen die Autoren das Hypothesis Evolution Protocol (HEP) vor, ein Agenten-Harness, das wissenschaftliches Schließen in explizite, auditierbare Operationen externalisiert. HEP besteht aus zwei primären Komponenten:

HEP Registry: Ein append-only (nur anhängbares), event-sourced Store, bei dem jede Hypothese ein persistentes Objekt mit einer eindeutigen ID ist. Jedes Objekt enthält:
- Eine natürlichsprachliche Aussage.
- Eine Überzeugungswahrscheinlichkeit $P(H)$ , die das Vertrauen des Agenten repräsentiert.
- Einen Lebenszyklus-Status (proposed, under_test, supported, refuted oder dormant).
- Einen Provenance-Datensatz (Lineage und Generierungsmechanismus).
- Ein append-only Event-Log, das alle Aktualisierungen der Überzeugung, die Anbindung von Evidenz und Zustandsübergänge verfolgt.
HEP Tools: Eine Menge von Schnittstellen, die die Interaktion des Agenten mit der Registry vermitteln, kategorisiert in:
- Propose & Evolve: Beinhaltet propose_hypothesis, refine_hypothesis und merge_hypotheses. Hypothesen werden über vier Mechanismen generiert: de-novo, inspired-by (nur Provenance), refine und merge.
- Test & Judge: Beinhaltet attach_evidence und transition_hypothesis. Aktualisierungen der Überzeugung werden durch Validierungsgatter diszipliniert; nur als vertrauenswürdig eingestufte Evidenz aktualisiert die Überzeugung. Urteile (supported/refuted) werden durch Schwellenwert-Übergänge erzwungen ( $P(H) \ge 0,8$ für supported, $P(H) \le 0,2$ für refuted).
- Read: Beinhaltet list_hypotheses und get_hypothesis zur Abfrage der Registry.

Das Protokoll zwingt den Agenten dazu, innerhalb eines strukturierten Hypothese–Test–Evidenz–Überzeugung-Zyklus zu operieren. Überzeugungen werden vom Agenten mittels schriftlicher Begründungen (Rationales) statt algorithmisch berechnet erfragt, aber das Protokoll erzwingt, dass Änderungen der Überzeugung an spezifische, validierte Evidenz gebunden sein müssen.

Experimenteller Aufbau

Die Autoren evaluierten HEP anhand von drei materialwissenschaftlichen Forschungsaufgaben, die offene Fragen zu Kristallstrukturpräferenzen für spezifische Verbindungsklassen unter Verwendung eines festen, maschinell gelernten interatomaren Potenzials (MLIP) behandelten:

Aufgabe AO2: Polymorphie-Selektion in AO2-Dioxiden.
Aufgabe A2BB'O6: B-Platz-Kationenordnung in Doppelperowskiten.
Aufgabe MX: Prototyp-Selektion in Übergangsmetall-Monochalkogeniden und -monopnictiden.

Die Experimente nutzten ein Basis-LLM (GPT-5.5), das mit computationalen Werkzeugen (Strukturrelaxation, Molekulardynamik, Datenbankabfragen) und dem HEP-Harness ausgestattet war. Vergleiche wurden mit einem Standard-"Planning-Style"-Agenten (Plan–Execute–Replan) ohne HEP-Harness gezogen. Zusätzlich wurde die Skalierbarkeit von HEP unter Verwendung von drei LLMs unterschiedlicher Leistungsfähigkeit (GPT-5.5, GPT-5.4-mini, GPT-4.1) getestet.

Kernergebnisse

1. Betrieb des wissenschaftlichen Zyklus

In einem einzelnen Forschungsdurchlauf auf Aufgabe AO2 generierte der mit HEP ausgestattete Agent 16 Hypothesen und nutzte dabei alle vier Generierungsmechanismen. Jede Hypothese wurde schließlich in einen Endzustand (supported, refuted oder dormant) überführt. Der Agent führte den vollständigen Zyklus erfolgreich aus:

Rückverfolgbarkeit: Der Hypothesenbaum ermöglichte die Rückverfolgung von Eltern-Kind-Beziehungen und Generierungsmechanismen.
Evolution der Überzeugung: Die Trajektorien der Überzeugungen zeigten, dass Änderungen strikt an validierte Evidenz gebunden waren. Hypothesen überschritten die Unterstützungs- oder Widerlegungsschwellen erst nach Akkumulation ausreichender Evidenz, wobei "Belief Flips" (z. B. eine mit geringer Konfidenz vorgeschlagene Hypothese, die zu supported wurde) basierend auf Daten erfolgten.
Vergleich mit Planungs-Agenten: Ein Planungs-orientierter Agent mit demselben Basis-LLM verbrachte 83 % seiner Schritte mit Tests und 0 % mit expliziten Aktualisierungen der Überzeugung. Er versäumte es, Überzeugungen zu externalisieren oder diese systematisch gegen Evidenz zu aktualisieren. Im Gegensatz dazu zeigte der HEP-Agent einen klaren Übergangsfluss (Hypothese $\to$ Test $\to$ Evidenz $\to$ Überzeugung $\to$ Urteil $\to$ Update), was demonstriert, dass HEP den wissenschaftlichen Zyklus erzwingt, den Planung allein nicht gewährleistet.

2. Generalisierung über Forschungsfragen hinweg

Angewandt auf die Aufgaben A2BB'O6 und MX demonstrierte HEP Robustheit:

Der Agent generierte 10–20 Hypothesen pro Aufgabe mit Generierungstiefen von 3–5.
Alle Hypothesen erreichten eine endgültige Disposition; keine blieben ungelöst.
Abschließende Steuerungsregeln wurden mit hoher Konfidenz abgeleitet (z. B. $P(H) = 0,97$ für AO2). Diese Regeln wurden durch die Vorhersage von Strukturen für ungesehene Zusammensetzungen verifiziert.
Das Protokoll offenbarte, wie spezifische Widerlegungen (z. B. einer Lehrbuch-Jahn-Teller-Mechanik) die Suche auf die korrekten elektronischen Ausnahmen umleiteten – eine Historie, die direkt aus den Registry-Logs lesbar war.

3. Skalierung mit der Kapazität des Basis-LLM

Die Effektivität von HEP wurde als abhängig von den Reasoning-Fähigkeiten des zugrunde liegenden LLMs befunden:

GPT-5.5: Generierte die meisten Hypothesen (Mittelwert 14,7), nutzte alle Generierungsmechanismen (einschließlich komplexer Merges) und löste alle Hypothesen auf.
GPT-5.4-mini: Generierte weniger Hypothesen (Mittelwert 6,7) und ließ 36 % ungelöst.
GPT-4.1: Generierte die wenigsten Hypothesen (Mittelwert 4,0), verließ sich stark auf de-novo Vorschläge (62 %) und versäumte es, Hypothesen durch Verfeinerung oder Merging zu entwickeln. In einem Durchlauf gab der Agent alle Hypothesen auf, ohne Evidenz anzuhängen.
Fazit: Obwohl alle getesteten LLMs in der Lage waren, einzelne HEP-Tools zu bedienen, konnten nur die leistungsfähigeren Modelle das Protokoll hinsichtlich der iterativen Evolution und des Lineage-Managements voll ausschöpfen.

Bedeutung und Ansprüche

Das Paper behauptet, dass HEP einen Schritt in Richtung auditierbarer KI-Wissenschaftler darstellt. Seine primäre Bedeutung liegt in:

Externalisierung des Schließens: Es transformiert den Hypothese–Test–Evidenz–Überzeugung-Zyklus von impliziten, unstrukturierten Prozessen in explizite, persistente und verifizierbare Aufzeichnungen.
Disziplin und Verifizierung: Durch das Erzwingen von Überzeugungs-Schwellenwerten und der Validierung von Evidenz stellt HEP sicher, dass die Schlussfolgerungen eines Agenten auf einem rückverfolgbaren Audit-Trail basieren, der es menschlichen Forschern ermöglicht, die wissenschaftliche Argumentation des Agenten zu inspizieren, zu verifizieren und darauf aufzubauen.
Komplementarität: Die Autoren betonen, dass HEP das Reasoning-Vermögen des Basis-LLM nicht ersetzt. Stattdessen sind das Harness und die Fähigkeit komplementär: Das Harness bestimmt, ob das Schließen externalisiert und verifizierbar ist, während die Kapazität des LLM bestimmt, wie vollständig dieses Schließen ausgeschöpft wird.

Die Arbeit kommt zu dem Schluss, dass mit fortschreitenden Basis-LLMs Harnesses wie HEP essenziell sein werden, um rohe Rechenleistung in vertrauenswürdige, inspizierbare wissenschaftliche Entdeckungen umzuwandeln. Als zukünftige Arbeit wird die Einführung unabhängiger Auditor-Agenten zur Evidenz-Validierung sowie die Ausstattung von Agenten mit First-Principles-Tools (z. B. DFT) für eine rigorosere Evidenz-Validierung vorgeschlagen.