Can Agents Distinguish Visually Hard-to-Separate Diseases in a Zero-Shot Setting? A Pilot Study

Diese Pilotstudie untersucht die Fähigkeit von Multi-Agenten-Systemen, visuell schwer unterscheidbare Krankheiten in einem Zero-Shot-Setting zu differenzieren, und zeigt zwar durch kontrastive Adjudikation verbesserte Ergebnisse, stellt jedoch fest, dass die Leistung für den klinischen Einsatz noch nicht ausreicht.

Das Wesentliche

Titel: Können KI-Assistenten kranke Bilder erkennen, wenn sie sich fast gleich aussehen? Eine kleine Pilotstudie

Stellen Sie sich vor, Sie sind ein junger Arzt und stehen vor zwei sehr schwierigen Fällen. In beiden Fällen sieht das Bild fast identisch aus, aber die Behandlung ist völlig unterschiedlich. Das ist wie bei zwei Schülern in der Schule, die beide rote T-Shirts tragen und rote Haare haben. Der eine ist ein harmloser Nachbarjunge, der andere ein gefährlicher Einbrecher. Wenn Sie nur auf das rote Shirt schauen, können Sie sie kaum unterscheiden. Aber wenn Sie den Einbrecher verwechseln, passiert nichts Schlimmes. Wenn Sie aber den harmlosen Jungen für einen Einbrecher halten, wird er zu Unrecht verhaftet.

Genau dieses Problem untersuchen die Forscher in dieser Studie. Sie schauen sich an, ob moderne KI-Assistenten (die sogenannten „Agenten") in der Lage sind, solche kniffligen medizinischen Bilder zu unterscheiden, ohne dass sie vorher extra dafür trainiert wurden.

Das Problem: Die „Täuschung" durch das Aussehen

Die Forscher haben sich zwei schwierige Paare ausgesucht:

1. Hautkrebs (Melanom) vs. ein harmloser Muttermal: Beide sehen auf dem Foto oft ähnlich aus (unregelmäßige Ränder, dunkle Flecken), aber beim Krebs muss operiert werden, beim Muttermal reicht oft nur Beobachtung.
2. Lungenödem (Wasser in der Lunge) vs. Lungenentzündung: Auf dem Röntgenbild sehen beide wie „wolkige" Flecken aus. Aber beim Ödem braucht der Patient Entwässerungstabletten, bei der Entzündung braucht er Antibiotika.

Die KI-Modelle, die heute existieren, sind wie sehr selbstbewusste Schüler. Wenn sie unsicher sind, raten sie oft schnell und behaupten dann mit fester Stimme: „Das ist Krebs!", auch wenn sie sich irren. Sie halluzinieren Beweise, die gar nicht da sind.

Die Lösung: Das „Anwalts-Team" (CARE)

Um dieses Problem zu lösen, haben die Forscher ein neues System namens CARE entwickelt. Statt einen einzigen KI-Assistenten zu fragen, stellen sie sich ein kleines Gericht vor:

1. Anwalt A (Der Ankläger): Er bekommt das Bild und muss nur Argumente finden, die für die Diagnose „Krankheit A" sprechen. Er darf nicht sagen, ob es wirklich Krankheit A ist, er muss nur die Beweise sammeln.
2. Anwalt B (Der Verteidiger): Er bekommt dasselbe Bild und muss nur Argumente finden, die für die Diagnose „Krankheit B" sprechen.
3. Der Richter: Dieser dritte KI-Assistent hört sich die Argumente beider Anwälte an. Aber das Besondere ist: Der Richter darf auch direkt auf das Bild schauen! Er prüft: „Hat Anwalt A wirklich gesehen, was er sagt? Oder hat er sich etwas eingebildet?"

Der Richter vergleicht dann die Beweise. Wenn Anwalt A sagt: „Hier ist ein chaotisches Muster, das ist Krebs!", der Richter aber auf das Bild schaut und sieht: „Nein, das Muster ist eigentlich symmetrisch", dann weist er das Argument zurück. Am Ende entscheidet der Richter basierend auf den geprüften Beweisen.

Was haben sie herausgefunden?

Die Ergebnisse waren eine Mischung aus Hoffnung und Realität:

• Es funktioniert besser: Das „Anwalts-Team" (CARE) war deutlich besser als ein einzelner KI-Assistent. Bei den Hautbildern konnte die Genauigkeit um etwa 11 Prozentpunkte gesteigert werden. Die KI machte weniger dumme Fehler und erkannte, wenn sie sich etwas nur eingebildet hatte.
• Es ist noch nicht perfekt: Obwohl es besser wurde, sind die Ergebnisse immer noch nicht gut genug, um sie sofort in echten Krankenhäusern einzusetzen. Die KI ist noch nicht so zuverlässig wie ein erfahrener Mensch.
• Der Trick: Der Erfolg kam nicht davon, dass die KI öfter nachdachte (wie wenn man eine Aufgabe dreimal hintereinander rechnet), sondern davon, dass sie gezwungen wurde, sich selbst zu widersprechen. Indem sie Argumente für beide Seiten sammeln und dann prüfen musste, was wirklich auf dem Bild zu sehen ist, wurde sie schlauer.

Fazit für den Alltag

Stellen Sie sich vor, Sie müssen eine schwierige Entscheidung treffen. Wenn Sie nur eine Person fragen, die vielleicht voreingenommen ist, können Sie in die Irre geführt werden. Wenn Sie aber zwei Personen fragen, die gegnerische Positionen vertreten müssen, und dann einen neutralen Prüfer, der die Fakten mit der Realität vergleicht, landen Sie viel schneller bei der Wahrheit.

Die Studie zeigt: KI kann lernen, vorsichtiger zu sein und ihre eigenen Fehler zu erkennen, wenn man sie in ein solches „Gegenspieler-System" einbettet. Aber bis wir uns blind auf solche Systeme verlassen können, um Leben zu retten, müssen sie noch viel mehr lernen. Es ist ein vielversprechender erster Schritt, aber noch kein fertiges Produkt.

Technische Zusammenfassung

Titel der Studie

Können Agenten visuell schwer zu trennende Krankheiten in einem Zero-Shot-Setting unterscheiden? Eine Pilotstudie

1. Problemstellung

Die Studie adressiert eine kritische, aber bisher wenig erforschte Lücke in der medizinischen Bildanalyse: Die Unterscheidung von Krankheiten, die visuell stark überlappende Merkmale aufweisen, aber unterschiedliche Ätiologien und Behandlungswege erfordern.

• Herausforderung: Herkömmliche KI-Systeme (insbesondere Multimodale Large Language Models, MLLMs) neigen in hoch-ambiguitäten Szenarien dazu, sich vorzeitig auf eine Hypothese festzulegen und übermäßig selbstsichere, aber falsche Begründungen („Halluzinationen") zu generieren.
• Zielsetzung: Unterscheidung ohne zusätzliche Trainingsdaten (Zero-Shot) und ohne menschliche Eingriffe.
• Testfälle (Proxy-Aufgaben):
  1. Dermoskopie: Melanom vs. atypischer Nävus (beide melanozytäre Läsionen, oft ähnliche Asymmetrie und Ränder).
  2. Röntgen-Thorax: Lungenödem vs. Pneumonie (beide zeigen Lungenverschattungen, erfordern aber völlig unterschiedliche Therapien: Diuretika vs. Antibiotika).

2. Methodik: Contrastive Agent REasoning (CARE)

Die Autoren stellen CARE vor, ein trainingsfreies Multi-Agenten-Framework, das auf dem Prinzip des kontrastiven Argumentierens basiert. Das System nutzt drei spezialisierte Rollen, die ohne Fine-Tuning arbeiten:

1. Rollen-spezifische Evidenzgenerierung (Agent 1 & 2):

   • Zwei Agenten arbeiten unter strikten Rollenzwängen. Agent A argumentiert ausschließlich für Hypothese A (z. B. Melanom), Agent B für Hypothese B (z. B. atypischer Nävus).
   • Sie generieren visuelle Evidenz, die ihre jeweilige Hypothese stützt, dürfen aber keine finale Diagnose stellen.
   • Dies führt dazu, dass Evidenz, die für eine Hypothese generiert wird, oft im Widerspruch zur anderen steht oder sogar bildinconsistent ist (Halluzinationen werden sichtbar).

2. Visuell verankerte Urteilsfindung (Agent 3 – „The Judge"):

   • Der Richter-Agent erhält das Originalbild sowie die beiden Evidenzsätze ($E_A$ und $E_B$).
   • Aufgabe: Er prüft die Plausibilität der Behauptungen durch direkten Abgleich mit dem Bild (Image-Grounded Claim Check).
   • Er identifiziert nicht unterstützte oder widersprüchliche Claims, gewichtet die verbleibenden kontrastiven Argumente und trifft die finale Diagnose.
   • Der Richter führt keine neuen medizinischen Beweise ein, sondern bewertet nur die bestehenden.

Theoretische Grundlage: Anstatt eine einzelne Wahrscheinlichkeit $p(y|x)$ zu schätzen (was bei ähnlichen $p(A|x)$ und $p(B|x)$ instabil ist), nutzt CARE explizit generierte, hypothesenbedingte Erklärungen und bewertet deren visuelle Konsistenz.

3. Experimentelles Setup & Daten

• Datensätze:
  • Dermoskopie: Aus dem derm7pt-Dataset (509 Fälle: 257 atypische Nävi, 252 Melanome).
  • Röntgen: Aus dem MIMIC-CXR-Dataset (1.739 Fälle: 878 Ödeme, 861 Pneumonien), gefiltert nach exklusiven Labels und hoher Konfidenz.
• Benchmarks: Vergleich verschiedener Modelle (CLIP-basiert, Open-Source MLLMs wie Qwen, InternVL, geschlossene Modelle wie Gemini-3-Flash/Pro).
• Baseline: Single-Agent-Modelle, Self-Check (mehrfache Selbstreflexion) und Majority-Vote (Mehrheitsvotum bei mehrfacher Abfrage).
• Metriken: Genauigkeit (ACC), F1-Score, Youden-Index.

4. Wichtige Ergebnisse

• Leistungsbaseline: Herkömmliche Single-Agent-Modelle und CLIP-basierte Ansätze zeigten bei diesen visuell verwirrenden Aufgaben nur mäßige bis schlechte Leistungen (oft nur 50–70 % Genauigkeit). Einige Modelle lagen sogar unter dem Zufallsniveau (negativer Youden-Index).
• Verbesserung durch CARE:
  • Auf dem Melanom-Datensatz erreichte CARE 77,6 % Genauigkeit (Youden-Index: 0,552). Dies ist eine Steigerung von 11 Prozentpunkten gegenüber dem Baseline-Modell Gemini-3-Flash (66,5 %).
  • Auf dem Röntgen-Datensatz erreichte CARE 64,6 % Genauigkeit (Signifikanz $p < 0.001$ gegenüber dem Baseline), blieb jedoch hinter dem stärkeren Gemini-3-Pro (70,9 %) zurück.
• Ablationsstudien:
  • Einfaches „Self-Check" (mehrfaches Nachdenken) oder „Majority-Vote" brachten nur marginale Verbesserungen.
  • Blind-CARE (Richter ohne Bildzugriff, nur Text) performte schlechter als CARE, was beweist, dass der direkte visuelle Abgleich für das Erkennen von Falschbehauptungen essenziell ist.
• Qualitative Analyse: CARE konnte erfolgreich widersprüchliche Befunde aufdecken (z. B. eine als „asymmetrisch" deklarierte Struktur, die sich bei genauer Betrachtung als symmetrisch erwies) und Evidenz neu kalibrieren.

5. Beiträge und Bedeutung

• Pionierarbeit: Eine der ersten Studien, die MLLM-Agenten in einem Zero-Shot-Setting für visuell verwirrende medizinische Differentialdiagnosen benchmarkt.
• Neuer Ansatz: Einführung von CARE, das durch strukturierte disagreement (Widerspruch) und kontrastives Argumentieren die Leistung steigert, ohne zusätzliche Trainingsdaten zu benötigen.
• Klinische Relevanz: Die Studie zeigt, dass strukturierte Multi-Agenten-Systeme die Fähigkeit haben, Unsicherheiten besser zu handhaben und Halluzinationen zu reduzieren.
• Einschränkungen & Fazit: Trotz der Verbesserungen liegt die Gesamtleistung noch nicht auf dem Niveau für den klinischen Einsatz. Limitationen sind die Qualität der Labels (oft aus Berichten extrahiert, nicht histologisch bestätigt) und das Fehlen von klinischem Kontext. Die Studie unterstreicht, dass weitere methodische Fortschritte nötig sind, bevor solche Systeme in der Praxis eingesetzt werden können.

Zusammenfassend demonstriert die Studie, dass die explizite Strukturierung von Meinungsverschiedenheiten und die visuelle Verifikation durch einen „Richter-Agenten" ein vielversprechender Weg sind, um die Zuverlässigkeit von KI in schwierigen medizinischen Diagnosefällen zu erhöhen.