Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie haben zwei sehr unterschiedliche Partner: Einer ist ein Fotograf, der Ihnen nur Bilder zeigt, und der andere ist ein Geschichtenerzähler, der nur in Worten spricht. In der Welt der Künstlichen Intelligenz gibt es superintelligente Computer, sogenannte Multimodale Large Language Models (MLLMs), die wie dieses Detektiv-Team agieren. Sie betrachten Bilder und lesen gleichzeitig Texte, um große Entscheidungen zu treffen, wie etwa die Diagnose eines Patienten oder die Identifizierung eines Problems. Aber hier liegt der knifflige Teil: Nur weil der Computer das richtige Ergebnis liefert, bedeutet das nicht, dass er es auch auf dem richtigen Weg herausgefunden hat. Manchmal „verlässt er sich auf Abkürzungen“, indem er die Fotos ignoriert und nur den Text liest oder umgekehrt. Dies ist ein riesiges Problem, denn wenn wir nicht wissen, welcher Partner die Arbeit erledigt hat, können wir dem Detektiv in ernsten Situationen nicht vertrauen. Wir brauchen eine Möglichkeit, um zu fragen: „Hey, war es das Bild, das die Lösung brachte, oder war es die Geschichte?“

Genau das geht eine neue Studie von Forschern der Universität Sarajevo und des King's College London an. Sie sind besorgt, dass diese KI-Detektive „Abkürzungen“ nehmen könnten – also sich auf eine Art von Hinweis zu verlassen, während sie die andere ignorieren, selbst wenn das Endergebnis korrekt aussieht. Um dies zu beheben, haben sie ein cleveres neues Werkzeug namens Counterfactual Modality Attribution (CMA) erfunden. Denken Sie bei CMA an eine „Was wäre wenn?“-Maschine. Sie fragt die KI: „Was wäre, wenn wir dir nur das Bild gezeigt hätten?“ und „Was wäre, wenn wir dir nur den Text gegeben hätten?“ Durch das Erstellen dieser imaginären „Was wäre wenn?“-Szenarien kann das Werkzeug genau messen, wie viel das Bild und wie viel der Text zu der endgültigen Entscheidung beigetragen hat. Sie haben dies an fiktiven Rätseln und echten medizinischen Berichten getestet und dabei festgestellt, dass CMA unglaublich gut darin ist, zu erkennen, wann eine KI entscheidende Informationen ignoriert. In ihren kontrollierten Tests identifizierte es die wahre Quelle der Entscheidung tatsächlich in 98 % der Fälle und deckte dabei verborgene Fehler auf, die andere Methoden übersahen.

Das Dilemma des Detektivs

Stellen Sie sich vor, Sie sind ein Arzt, der versuchen muss herauszufinden, ob ein Patient eine Lungenentzündung hat. Sie haben zwei Beweisstücke: ein Röntgenbild des Brustkorbs (das Bild) und einen medizinischen Bericht, der von einer Pflegekraft geschrieben wurde (der Text). Der Bericht der Pflegekraft besagt: „Der Patient ist allergisch gegen Penicillin.“ Das Röntgenbild zeigt eindeutig eine Lungenentzündung. Eine intelligente KI sollte beide betrachten, sagen: „Ja, es ist eine Lungenentzündung“, und dann ein sicheres Antibiotikum empfehlen, das kein Penicillin ist.

Aber was ist, wenn die KI sich auf „Abkürzungen verlässt“? Was ist, wenn sie das Röntgenbild betrachtet, die Lungenentzündung sieht und sofort ein Antibiotikum auswählt, ohne die Notiz der Pflegekraft gelesen zu haben? Wenn dieses Antibiotikum zufällig Penicillin ist, könnte der Patient eine lebensbedrohliche Reaktion erleiden. Die KI hat die Diagnose richtig gestellt, aber sie ist bei der Sicherheitsprüfung gescheitert, weil sie den Text ignoriert hat. Dies wird als „Shortcut Learning“ (Abkürzungs-Lernen) bezeichnet, und es ist gefährlich, weil die KI auf dem Papier perfekt aussieht (sie liefert die richtige Diagnose), aber in der realen Welt eigentlich unsicher ist.

Das Problem ist, dass die meisten aktuellen Werkzeuge zur Überprüfung von KI nur darauf schauen, wohin die KI blickt. Sie können ein rotes Kästchen um die Lungenentzündung auf dem Röntgenbild ziehen oder das Wort „Penicillin“ im Text hervorheben. Aber sie können nicht die große Frage beantworten: Welches davon hat die KI dazu gebracht, sich zu entscheiden? Hat das Bild die Entscheidung vorangetrieben oder der Text? Oder haben sie zusammengewirkt?

Die „Was wäre wenn?“-Maschine

Die Forscher haben eine neue Methode namens Counterfactual Modality Attribution (CMA) entwickelt, um dies zu lösen. Das Wort „counterfactual“ (kontrafaktisch) ist eine schicke Art zu sagen: „Was wäre wenn?“. CMA spielt ein „Was wäre wenn?“-Spiel mit der KI.

So funktioniert es, erklärt durch eine einfache Analogie:
Stellen Sie sich vor, Sie backen einen Kuchen mit zwei Zutaten: Mehl und Zucker. Sie wollen wissen, welche Zutat den Kuchen süß macht.

1. Der Original-Kuchen: Sie backen einen Kuchen mit sowohl Mehl als Maß als auch Zucker. Er schmeckt süß.
2. Die „Was wäre wenn?“-Szenarien:
   • Szenario A (Nur Bild/Zutat): Sie backen einen Kuchen mit nur Mehl (kein Zucker).
   • Szenario B (Nur Text/Zutat): Sie backen einen Kuchen mit nur Zucker (kein Mehl).
   • Szenario C (Beides entfernt): Sie backen einen Kuchen mit weder noch.

Indem Sie diese verschiedenen Kuchen probieren, können Sie genau herausfinden, wie viel der Zucker zur Süße beigetragen hat. Wenn der Kuchen mit nur Zucker immer noch süß ist, aber der Kuchen mit nur Mehl fad ist, wissen Sie, dass der Zucker der Star ist.

CMA macht dies für die KI, aber anstelle von Kuchen verwendet es Bilder und Text. Es nutzt spezielle „magische Generatoren“ (genannt Diffusionsmodelle), um realistische Versionen der Eingabe zu erstellen, bei denen entweder der Text entfernt wurde, während das Bild erhalten blieb, oder das Bild entfernt wurde, während der Text erhalten blieb. Dann bittet es die KI, Vorhersagen auf diesen neuen, modifizierten Versionen zu treffen.

Die Punktetafel: Wer hat die Arbeit gemacht?

Sob nachdem die KI Vorhersagen für alle diese „Was wäre wenn?“-Versionen getroffen hat, nutzt CMA ein mathematisches Bewertungssystem namens Shapley-Werte. Man kann sich das wie eine Punktetafel in einem Videospiel vorstellen, bei der zwei Spieler (das Bild und der Text) in einem Team spielen. Die Punktetafel berechnet, wie viel jeder Spieler zum Sieg des Teams beigetragen hat.

• Wenn die KI ihre Meinung ändert, wenn man den Text entfernt, erhält der Text eine hohe Punktzahl.
• Wenn die KI ihre Meinung ändert, wenn man das Bild entfernt, erhält das Bild eine hohe Punktzahl.
• Wenn die KI beides braucht, um die richtige Antwort zu erhalten, teilen sie sich die Punktzahl.

Das Ergebnis ist ein klarer Prozentsatz: „90 % Bild, 10 % Text“. Dies sagt uns genau, welche Modalität die Entscheidung steuert.

Was sie herausgefunden haben

Die Forscher haben CMA auf zwei Arten getestet:

1. Fiktive Rätsel: Sie erstellten ein Spiel, bei dem sie im Voraus wussten, dass die KI sich nur auf das Bild oder nur auf den Text verlassen sollte. In diesen Tests war CMA ein Superstar. Es identifizierte die „abkürzungs-reaktive“ KI in 9 8 % der Fälle korrekt. Andere Methoden, die lediglich einzelne Pixel oder Wörter betrachteten, wurden verwirrt und konnten den Bias nicht erkennen.
2. Echte medizinische Berichte: Sie testeten es an einem echten Datensatz von Thorax-Röntgenbildern und ärztlichen Notizen. Sie fanden Fälle, in denen die KI sich auf seltsame Abkürzungen verließ. Zum Beispiel diagnostizierte die KI in einem Fall ein „Nodulus“ (einen Knoten), weil sie EKG-Elektroden (Kabel) auf dem Röntgenbild sah, und nicht, weil sie den eigentlichen Knoten sah. Als CMA die Kabel entfernte (die Bild-Abkürzung), änderte die KI ihre Meinung. Dies bewies, dass CMA gefährliche Abkürzungen finden konnte, die andere Werkzeuge übersehen hatten.

Warum das wichtig ist

Das Wichtigste, was diese Arbeit zeigt, ist, dass richtig sein nicht ausreicht. Eine KI kann die richtige Antwort aus den falschen Gründen geben. Wenn wir nur prüfen, ob die Antwort richtig ist, übersehen wir vielleicht, dass die KI kritische Sicherheitsinformationen (wie eine Allergie) ignoriert.

CMA gibt uns eine Möglichkeit, den Denkprozess der KI zu prüfen. Es sagt uns nicht nur, was die KI entschieden hat; es sagt uns, warum sie es entschieden hat. Dies ist entscheidend für Hochrisiko-Situationen wie das Gesundheitswesen, selbstfahrende Autos oder rechtliche Entscheidungen, in denen wir sicher sein müssen, dass die KI alle verfügbaren Beweise nutzt und nicht nur die einfachen Dinge.

Die Forscher geben zu, dass ihr Werkzeug etwas Rechenleistung benötigt und noch nicht perfekt ist, aber es ist ein großer Schritt nach vorn. Es verwandelt die „Black Box“ der KI-Entscheidungsfindung in etwas, das wir tatsächlich verstehen und dem wir vertrauen können – und stellt sicher, dass, wenn eine KI sagt: „Ich bin sicher“, sie es auch aus den richtigen Gründen ist.