💬 NLP

Better with Experience: Self-Evolving LLM Agents for Evidence-Grounded Health Community Notes

Das Paper stellt EvoNote vor, ein selbstentwickelndes LLM-Agenten-Framework, das ein Erfahrungsspeicher mit feingranularer Kreditzuweisung nutzt, um evidenzbasierte, hilfreiche Community Notes zu generieren, wobei es im Vergleich zu von Menschen geschriebenen Notizen auf einem neuen multimodalen Benchmark eine überlegene Hilfsbereitschaft und signifikant schnellere Produktionszeiten erzielt.

Ursprüngliche Autoren: Zihang Fu, Fanxiao Li, Jianyang Gu, Haonan Wang, Preslav Nakov, Bryan Hooi, Min-Yen Kan, Jiaying Wu

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihang Fu, Fanxiao Li, Jianyang Gu, Haonan Wang, Preslav Nakov, Bryan Hooi, Min-Yen Kan, Jiaying Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „amnesische“ Faktenchecker

Stellen Sie sich ein Team von Faktencheckern vor, die in den sozialen Medien arbeiten, um Gesundheits-Fehlinformationen (wie falsche Behauptungen über Impfstoffe oder Wunderheilmittel) zu stoppen.

Derzeit arbeiten diese KI-Faktenchecker wie amnesische Praktikanten. Jedes Mal, wenn sie einen neuen Post faktenchecken sollen, fangen sie bei Null an. Sie erinnern sich nicht an das, was sie gestern gelernt haben.

Szenario: Ein Praktikant prüft einen Post über eine „Wunderheilung gegen Krebs“ und lernt, dass die Quelle gefälscht ist.
Am nächsten Tag: Ein anderer Praktikant (oder derselbe mit einem „Reset“-Gehirn) sieht einen ähnlichen Post über ein anderes „Wunderheilmittel“. Er muss alles wieder von Grund auf neu lernen, macht oft dieselben Fehler oder übersieht dieselben Warnsignale.

Das ist langsam, ineffizient und lässt Menschen länger ungeschützt gegenüber schlechten Informationen.

Die Lösung: EVONOTE (Der „erfahrene Veteran“)

Die Autoren haben ein neues System namens EVONOTE entwickelt. Betrachten Sie dies nicht als Praktikanten, sondern als einen erfahrenen Detektiv, der eine detaillierte, gut organisierte Fallakte führt.

Anstatt nach getaner Arbeit alles zu vergessen, behandelt EVONOTE jeden Faktencheck als eine Lektion. Es baut eine „Gedächtnisbank“ auf, in der gespeichert wird, was funktioniert hat und was nicht, sodass es mit jedem korrigierten Post klüger wird.

So funktioniert es: Der Drei-Schritte-Zyklus

EVONOTE arbeitet in einer kontinuierlichen Schleife, ähnlich wie ein Detektiv, der Fälle löst und sein Handbuch aktualisiert:

1. Die Untersuchung (Der Agent)
Wenn ein markierter Post eintrifft, rät EVONOTE nicht einfach. Es agiert wie ein Detektiv:

Analysiert die Behauptung: „Was genau sagt diese Person eigentlich?“
Sammelt Beweise: Es durchsucht das Internet, besucht Websites und liest wissenschaftliche Arbeiten, um die Wahrheit zu finden.
Schreibt die Notiz: Es entwirft eine Korrektur für den Social-Media-Post.

2. Die Leistungsbewertung (Der Richter)
Sobald die Notiz geschrieben ist, überprüft ein „Social Utility Judge“ (ein intelligenter KI-Evaluator) die Arbeit. Er fragt nicht nur: „Ist das wahr?“, sondern stellt vier tiefere Fragen basierend auf der Gesundheitskommunikation:

Verständlich: Ist es für eine normale Person leicht zu lesen?
Sinnvoll: Wird erklärt, warum das für ihre Gesundheit wichtig ist?
Nützlich: Gibt es Auskunft darüber, welche sicheren Schritte man als Nächstes unternehmen kann?
Vertrauenswürdig: Wird Unsicherheit zugegeben, falls die Wissenschaft sich nicht zu 100 % sicher ist?

3. Die gelernte Lektion (Der Gedächtnis-Evolvierer)
Das ist der magische Teil. Der Richter gibt Feedback, und ein „Memory Evolver“ destilliert dieses Feedback in eine wiederverwendbare Regel.

Beispiel: Wenn die KI in einem früheren Fall den Kontext eines Zitats übersehen hat, erstellt der Memory Evolver die Regel: „Wenn ein Post ein Zitat verwendet, prüfe immer den vollständigen Kontext, bevor du die Antwort schreibst.“
Diese Regel wird in der Gedächtnisbank gespeichert. Wenn das nächste Mal ein ähnlicher Post erscheint, zieht das System automatisch diese Regel hervor und wendet sie an, um denselben Fehler zu vermeiden.

Die Ergebnisse: Schneller und besser

Die Forscher haben EVONOTE mit einem Datensatz von 1.200 echten Gesundheits-Posts (Text, Bilder und Videos) getestet, die bereits von Menschen faktengecheckt worden waren.

Übertrifft Menschen: In fast 90 % der Fälle wurden die von EVONOTE generierten Notizen als besser bewertet als die ursprünglichen, von Menschen geschriebenen Notizen.
Geschwindigkeit: Während Menschen im Durchschnitt 13 Stunden benötigen, um einen Konsens über eine Korrektur zu erzielen, kann EVONOTE in weniger als 2 Minuten einen hochwertigen Entwurf erstellen.
Bessere Belege: EVONOTE schrieb nicht nur schneller, sondern fand auch bessere Quellen. Es neigte eher dazu, offizielle Gesundheitsorganisationen (wie das CDC) zu zitieren, und weniger zu zweifelhaften Nachrichtenseiten.

Der „Bildunterschriften“-Trick

Ein interessanter Befund betraf Bilder und Videos. Das System arbeitet am besten, wenn es zuerst Bilder/Videos in Textbeschreibungen (Captions) umwandelt, bevor es diese analysiert.

Analogie: Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, während Sie eine dicke, beschlagene Brille tragen (eine direkte Video-KI). Es ist schwer, die Teile zu sehen. EVONOTE nimmt die beschlagene Brille ab, lässt einen Menschen das Bild klar beschreiben und löst dann das Puzzle. Dies machte das System wesentlich zuverlässiger.

Das Fazbeitwort

Die Arbeit argumentt, dass die Bekämpfung von Gesundheits-Fehlinformationen kein Spiel von „Zurücksetzen und Erneut versuchen“ sein darf. Stattdessen brauchen wir Systeme, die aus ihrer eigenen Geschichte lernen.

Indem EVONOTE jede Episode des Faktenchecks in eine wiederverwendbare Lektion verwandelt, schafft es einen selbstverbessernden Zyklus. Dies stellt sicher, dass das System bereits vorbereitet ist, die nächste ähnliche Lüge schneller und genauer zu entlarven als zuvor.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dieses System derzeit auf X (Twitter) für alle Nutzer eingesetzt wird.
Es behauptet nicht, dass es Ärzte oder Faktenchecker vollständig ersetzt; es schlägt vor, dass es ein Werkzeug sein sollte, um ihnen zu helfen.
Es behauptet nicht, dass es bereits für politische oder finanzielle Lügen funktioniert; die Studie konzentrierte sich strikt auf Gesundheits-Fehlinformationen.

Technisches Resümee: Besser mit Erfahrung: Selbstentwickelnde LLM-Agenten für evidenzbasierte Community Notes im Gesundheitswesen

1. Problemstellung

Gesundheitsfehlinformationen auf sozialen Plattformen erfordern zeitnahe, evidenzbasierte und für Nutzer verständliche Korrekturen. Während die Community Notes von X (ehemals Twitter) ein skalierbares Governance-Paradigma bieten, leiden aktuelle durch Large Language Models (LLM) augmentierte Ansätze unter einer kritischen Einschränkung: Sie operieren unter einem One-Pass-Paradigma. Jeder Post wird als isoliertes Instanz behandelt, wodurch der Zustand des Agenten zurückgesetzt und nützliche Korrekturerfahrung aus vorangegangenen Fällen verworfen wird.

Diese Formulierung steht nicht im Einklang mit der Realität der Governance von Gesundheitsfehlinformationen, bei der irreführende Behauptungen chronologisch durch ähnliche rhetorische Strategien und Evidenzbedarfe immer wieder auftreten. Infolgedessen bleiben spätere Korrekturen anfällig für wiederholte, vermeidbare Fehler, da das System nicht in der Lage ist, übertragbare Strategien zur Evidenzsuche und zum Schreiben zu nutzen, die aus früheren, erfolgreich geschriebenen menschlichen Notizen abgeleitet wurden.

2. Methodik: Das EVONOTE-Framework

Die Autoren führen EVONOTE ein, ein agentisches Framework, das eine selbstentwickelnde Generierung von Community Notes für das Gesundheitswesen ermöglicht. Im Gegensatz zu bisherigen Methoden, die auf dem passiven Abruf vergangener Dokumente oder vollständiger Trajektorien beruhen, implementiert EVONOTE eine feingliedrige Credit Assignment, um Trajektorien-Feedback in handlungsrelevante, phasenspezifische Erinnerungen zu destillieren.

Kernkomponenten

Formulierung der Notiz-Generations-Episode:
Jede Episode $k$ umfasst einen markierten Post $x_k$ (Text, Bild oder Video), der in eine einheitliche textuelle Repräsentation $\tilde{x}_k$ umgewandelt wird. Der Agent produziert eine Trajektorie $\tau_k$ , bestehend aus:
- Behauptungsanalyse ( $c_k$ ): Instanzspezifische Identifizierung prüfenswerter Behauptungen und prioritärer Evidenzbedarfe.
- Aktionshistorie ( $H_k$ ): Eine Sequenz von Such- und Besuchshandlungen.
- Evidenz ( $E_k$ ): Gesammelte Web-Evidenz.
- Finale Notiz ( $y_k$ ): Die generierte Community Note.
Social Utility Judge (Bewertung auf Trajektorien-Ebene):
Ein spezialisierter Agent bewertet die abgeschlossene Trajektorie anhand von vier gesundheitsspezifischen Qualitätsmerkmalen von Notizen, die in der vorangegangenen Gesundheitskommunikationsliteratur fundiert sind:
- Verständlichkeit: Zugänglichkeit der Sprache für Laien.
- Bedeutsamkeit: Klarheit über die Interpretation von Gesundheit und Risikowahrnehmung.
- Nutzbarkeit: Bereitstellung von sicheren, verhältnismäßigen nächsten Schritten.
- Vertrauenswürdigkeit: Kalibrierte Verwendung von Evidenz unter Unsicherheit.
Der Judge weist einen Utility-Modus ( $u_k$ ) zu: Unbefriedigend, Zufriedenstellend oder Exzellent. Dieser Modus fungiert als Routing-Signal, das bestimmt, ob die Episode zur Vermeidung von Fehlern (Failure-Avoidance), zur Verbesserungs-Orientierung (Improvement-Oriented) oder zur Wiederverwendung von Erfolgen (Success-Reuse) beitragen soll.
Memory Evolver (Destillation auf Aktions-Ebene):
Der Memory Evolver konvertiert die Trajektorie und den Utility-Modus in eine Menge wiederverwendbarer Memory-Items $\Delta M_k$ . Jedes Item ist strukturiert als ein Tupel aus:
- Trigger: Eine Bedingung, die identifiziert, wann das Memory anwendbar ist (z. B. „Post verwendet eine spezifische Statistik, um einen kausalen Zusammenhang zu implizieren“).
- Aktionsstrategie: Eine wiederverwendbare Korrekturstrategie (z. B. „Verifizieren Sie die Statistik gegen die Primärquelle“).
- Phase: Die spezifische Generierungsphase, die die Strategie leitet (Behauptungsanalyse, Evidenzakquise oder Notizschreiben).
Memory-Gesteuerte Generierung:
Zur Inferenzzeit ruft der Agent relevante Memories basierend auf dem aktuellen Post und dem Entscheidungszustand ab.
- Claim Analyzer: Nutzt abgerufene Claim Analysis-Memories, um einen Verifizierungsbericht zu erstellen.
- Note Writer: Nutzt Evidence Acquisition- und Note Writing-Memories, um Suchanfragen, Quellpriorisierung und die Rahmung der Notiz zu steuern.
- Budgetbeschränkungen: Der Agent arbeitet unter strengen Such- und Besuchsbudgets, um Effizienz zu gewährleisten.
Geschlossener Regelkreis der Selbstentwicklung:
Das System bildet einen geschlossenen Kreislauf, in dem die Trajektorie der Episode $k+1$ zur Quelle der Erfahrung für die Episode $k+2$ wird. Dies ermöglicht es dem System, Korrekturerfahrung zu akkumulieren, ohne Modellparameter zu aktualisieren oder auf einen festen Bestand an menschlichen Notizen zurückzugreifen.

3. Benchmark: MM-HEALTHCN

Zur Evaluierung von EVONOTE haben die Autoren MM-HEALTHCN kuratiert, einen multimodalen Benchmark bestehend aus 1.200 Instanzen:

Zusammensetzung: 400 Text, 400 Bild und 400 Video-Posts.
Daten: Nutzer-markierte Gesundheits-Posts, gepaart mit menschlich geschriebenen Community Notes und Crowd-basierten Hilfreichkeitslabels („Hilfreich“ oder „Nicht hilfreich“).
Evaluationsprotokoll: Ein hierarchischer Utility Judge filtert zuerst nach Längenkonformität (280 Zeichen), bewertet dann die Relevanz der Evidenz, die Korrektheit der Evidenz und die Hilfreichkeit des Notizstils. Ein paarweiser Social Utility Judge vergleicht Notizen basierend auf den vier gesundheitsspezifischen Qualitäten (Verständlichkeit, Bedeutsamkeit, Nutzbarkeit, Vertrauenswürdigkeit).

4. Kernergebnisse

Experimente wurden auf MM-HEALTHCN durchgeführt, wobei EVONOTE mit menschlichen Notizen, web-suchfähigen LLMs (GPT-4.1, Grok-4.3, Gemini-2.5-Flash) und bestehenden LLM-augmentierten Notiz-Generierungssystemen (CrowdNotes+, DeepResearch, ExpRAG, ReMem) verglichen wurde.

Überlegenheit gegenüber menschlichen Notizen: Unter einem durch Menschen validierten hierarchischen Utility Judge wurden EVONOTE-generierte Notizen in 89,6 % der Fälle gegenüber den entsprechenden menschlich geschriebenen Notizen bevorzugt.
Leistung bei ungelösten Fällen: Bei einem separaten Satz von „Needs More Ratings“-Posts (bei denen noch kein Crowd-Konsens erreicht wurde) erzeugte EVONOTE in 82,0 % der Fälle hilfreiche Notizen, was die Abdeckung signifikant verbessert, bevor ein menschlicher Konsens gebildet wird.
Effizienz: EVONOTE reduzierte die mediane Zeit zur Erstellung einer Kandidatenkorrektur von über 13 Stunden (im menschlichen Notiz-Pipeline-Prozess) auf unter 2 Minuten.
Evidenzqualität: EVONOTE demonstrierte stärkere Evidenzprofile als die Baselines und erreichte eine höhere Quellenqualität, Domänen-Diversität und semantische Diversität. Es nutzte vielfältigere und qualitativ hochwertigere Quellen, ohne lediglich die Anzahl der Zitate zu erhöhen.
Ablationsstudien: Das Entfernen des evolvierenden Memory (EVONOTE-NM) oder des instanzspezifischen Claim Analyzers (EVONOTE-NM-NA) verschlechterte die Leistung, was bestätigt, dass sowohl akkumulierte Erfahrung als auch explizite Verifizierungsplanung essenziell sind.
Multimodale Handhabung: Die Arbeit stellte fest, dass die direkte Instanziierung von multimodalen VLMs für diese Aufgabe unzuverlässig war. Die Verwendung von durch Menschen validierten Captions, um Bilder/Videos in Text umzuwandeln, der von einem medizinisch fähigen LLM (MedGemma-27B) verarbeitet wurde, lieferte signifikant zuverlässigere Trajektorien.

5. Bedeutung und Ansprüche

Das Paper positioniert die selbstentwickelnde Notizgenerierung als ein vielversprechendes Paradigma für die Governance von Gesundheitsfehlinformationen. Seine primären Beiträge und Ansprüche sind:

Kumulative Korrektur: Die Autoren zeigen, dass die Korrektur von Fehlinformationen kumulativ werden kann. Indem sie agentische Korrektur-Trajektorien in wiederverwendbare Memories umwandeln, können Systeme sich an neue Behauptungen anpassen, selbst wenn zuverlässige menschliche Notizen spärlich oder verzögert vorhanden sind.
Phasenspezifisches Memory: Die Studie argumentiert, dass generischer Memory-Abruf unzureichend ist. Der Schlüssel zur Verbesserung liegt in der Destillation von Feedback in phasenspezifische Strategien (Behauptungsanalyse, Evidenzakquise, Schreiben), die spezifische Aktionen in zukünftigen Episoden leiten.
Handlungsorientierte Erfahrung: EVONOTE zeigt, dass Agenten handlungsorientierte Strategien (z. B. Verifizierung von Primärquellen für Statistiken, Unterscheidung zwischen Korrelation und Kausalität) aus ihren eigenen Trajektorien lernen können, wodurch wiederkehrende Korrekturfehler effektiv adressiert werden.
Governance-Prin Prinzip: Die Arbeit schlägt ein Designprinك für die Governance von Fehlinformationen vor: „Jeder markierte Post sollte zu einer Erfahrung werden, bevor eine ähnliche erneut auftritt.“

Die Autoren bleiben hinsichtlich der Limitationen bescheiden und merken an, dass sich das System derzeit auf englischsprachige Gesundheitsfehlinformationen konzentriert, primär aus seinen eigenen Trajektorien lernt (statt gemeinsam mit hochwertigen menschlichen Korrekturen) und auf der Memory-Ebene arbeitet, anstatt das zugrunde liegende Modell oder den Workflow zu aktualisieren. Sie betonen, dass EVONOTE als ein System zur Unterstützung des Menschen gedacht ist, welches eine menschliche Aufsicht für die endgültige Verifizierung und das Sichtbarmachen von Korrekturen erfordert.