Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein superintelligenter Roboter die Welt sieht. Sie fragen ihn: „Was macht dieses Bild zu einem Hund?“ und er antwortet: „Die Ohren!“ Aber woher wissen Sie, dass er nicht einfach nur aufgrund eines seltsamen Schattens oder einer bestimmten Farbe rät? Das ist die Welt der Erklärbaren KI (Explainable AI, XAI). Es ist das Fachgebiet, das sich darauf konzentriert, in die „Black Box“ der künstlichen Intelligenz hineinzuschauen, um zu sehen, was tatsächlich passiert. Eine beliebte Methode, um dies zu tun, heißt Perturbation (Störung). Denken Sie an ein Spiel wie „Was wäre wenn?“, bei dem man ein Foto manipuliert. Man deckt Teile des Bildes ab – vielleicht die Ohren oder den Schwanz des Hundes – und fragt den Roboter: „Denkt er immer noch, dass dies ein Hund ist?“ Wenn der Roboter plötzlich aufhört, den Hund zu erkennen, wenn man die Ohren abdeckt, weiß man, dass die Ohren wichtig sind.

Es gibt jedoch einen Haken. Wenn Sie die Ohren einfach mit einem großen, hässlichen grauen Quadrat abdecken, testen Sie nicht wirklich das Verständnis des Roboters für einen Hund; Sie testen seine Reaktion auf ein riesiges graues Gebilde. Der Roboter könnte durch das seltsame, unnatürliche Quadrat verwirrt werden und Ihnen eine falsche Antwort darüber geben, was wichtig ist. Dieses Paper befasst sich mit genau diesem Problem. Es schlägt vor, dass wir anstelle von langweiligen, falschen grauen Quadraten, um Teile eines Bildes zu verbergen, einen „magischen Radiergummi“ verwenden sollten, der die fehlenden Stellen mit realistischen, fotorealistischen Details füllt, die dorthin gehören. Auf diese Weise wird der Roboter nur durch das fehlende Objekt verwirrt und nicht durch ein seltsames Artefakt, was uns eine viel klarere Antwort darüber gibt, worauf er tatsächlich schaut.

---

Das Problem: Hässliche Quadrate und verwirrte Roboter

In der Welt des Computer Vision werden KI-Modelle unglaublich gut darin, Dinge zu erkennen, aber sie werden auch schwieriger zu verstehen. Um dies zu beheben, nutzen Forscher Werkzeuge wie LIME (Local Interpretable Model-agnostic Explanations). LIME funktioniert so, dass ein Bild in kleine Puzzleteile namens „Superpixel“ zerlegt wird und dann einige dieser Teile verborgen werden, um zu sehen, wie sich die Vorhersage der KI verändert.

Die traditionelle Art, ein Teil zu verbergen, besteht darin, es mit einer Vollfarbe, wie Grau oder Schwarz, zu übermalen. Die Autoren dieses Papers argumentieren, dass dies ein wenig so ist, als würde man versuchen, die Fähigkeit eines Kochs, einen Kuchen zu erkennen, zu testen, indem man die Glasur durch einen Betonblock ersetzt. Der Beton ist nicht Teil des Kuchens und sieht nach nichts Natürlichem aus. Wenn die KI diesen „Beton“ sieht, gerät sie vielleicht in Panik und trifft eine Vorhersage, die nichts mit dem Kuchen zu tun hat, was zu einer verwirrenden Erklärung führt.

Das Paper zeigt, dass diese „hässlichen Quadrate“ (deterministische Okklusion) oft versagen. Beispielsweise haben Standardmethoden in einem Test mit einem Bild eines Pflasters die Tatsache, dass das Pflaster der wichtigste Teil des Bildes ist, völlig übersehen. Sie waren zu sehr durch die unnatürlichen grauen Flecken abgelenkt, die sie erzeugten.

Die Lösung: Der „Magische Inpainting“-Trick

Um dies zu lösen, führen die Autoren eine neue Methode namens LILI (Leveraging Inpainting for Local Interpretability) ein. Anstatt die verborgenen Puzzleteile mit grauer Farbe zu übermalen, nutzt LILI ein generatives KI-Modell namens LaMa, um das Bild zu „inpainten“.

Denken Sie an Inpainting wie an einen sehr talentierten Künstler, der in ein Loch in einem Foto schauen und genau das hineinmalen kann, was dort basierend auf der Umgebung stehen sollte. Wenn Sie ein Pflaster verbergen, setzt LaMa kein graues Quadrat; es malt ein Stück Haut, das exakt wie die Haut um das Pflaster herum aussieht. Dies erzeugt eine „fotorealistische Perturbation“. Das KI-Modell sieht ein Bild, das natürlich aussieht, außer dass das Pflaster fehlt. Dies zwingt die KI, sich auf ihr tatsächliches Wissen darüber zu verlassen, wie ein Pflaster aussieht, anstatt auf ein seltsames graues Quadrat zu reagieren.

Aber es gab ein zweites Problem. Selbst mit dem magischen Künstler hinterließen die Ränder des verborgenen Bereichs manchmal winzige, unsichtbare Hinweise (Artefakte), die die KI noch sehen konnte. Um dies zu beheben, fügten die Autoren einen Schritt zur „Maskenexpansion“ hinzu. Stellen Sie sich vor, anstatt nur das Pflaster zu verstecken, würden Sie auch ein kleines Stück der Haut darum herum verstecken. Dies stellt sicher, dass der magische Künstler den gesamten Bereich mit neuer Hintergrundhaut füllen muss, wodurch jede Spur des ursprünglichen Objekts vollständig gelöscht wird.

Was sie herausgefunden haben: Realismus gewinnt

Das Team testete LILI gegen die alte Methode (LIME mit grauen Quadraten) und einen früheren Versuch, der ein anderes Inpainting-Modell namens DeepFill (LIME-G) verwendete. Sie führten hunderte Tests mit Bildern aus dem ImageNet-Datensatz durch und nutzten ein Standard-KI-Modell namens InceptionV3 zur Erkennung.

1. Die Bilder sehen besser aus
Die Autoren maßen, wie „real“ die gefälschten Bilder aussah, und nutzten dafür einen Score namens Fréchet Inception Distance (FID). Ein niedrigerer Score bedeutet, dass die gefälschten Bilder ähnlicher zu echten Fotos sind.

• Die alte LIME-Methode (graue Quadrate) erreichte 30,532.
• Die vorherige Inpainting-Methode (LIME-G mit DeepFill) erreichte 56,524 (was überraschenderweise schlechter war, wahrscheinlich weil das Modell nicht so gut war).
• Die neue LILI-Methode erreichte 6,727.
  Dieser enorme Rückgang des Scores beweist, dass LILI Bilder erzeugt, die der echten Datenverteilung viel näher kommen. Sie sehen natürlich aus, nicht wie ein Foto, auf das ein grauer Fleck geklatscht wurde.

2. Die Erklärungen sind genauer
Um zu sehen, ob die Erklärungen tatsächlich besser waren, verwendeten sie eine „Saliency-Metrik“. Diese misst, wie gut die Erklärung die wichtigsten Teile des Bildes hervorhebt. Niedrigere Scores sind auch hier besser.

• LILI mit einer 3-Pixel-Maskenexpansion erzielte die besten Werte und schlug sowohl die alte LIME- als auch die LIME-G-Methode.
• Im Beispiel mit dem Pflaster identifizierte beispielsweise nur LILI das Pflaster korrekt als das wichtigste Merkmal. Die anderen Methoden ließen sich vom Hintergrund oder den Artefakten ablenken.

3. Stabilität und Geschwindigkeit
Die Forscher prüften auch, ob die Erklärungen konsistent waren. Wenn man den Test zehnmal durchführt, erhält man dann das gleiche Ergebnis?

• Die alte LIME war am stabilsten (Agreement-Score von 0,889), dicht gefolgt von LILI (0,852).
• LIME-G war weniger stabil (0,723).
• Die Autoren merken an, dass LILI etwas weniger stabil ist als die alte Graue-Quadrat-Methode, da der „magische Künstler“ (LaMa) je nach exakter Maske manchmal leicht unterschiedliche Hintergründe malen kann. Dies ist jedoch ein kleiner Preis für die Erzielung des richtigen Ergebnisses.
• Was die Geschwindigkeit betrifft, benötigt LILI etwas länger. Die alte LIME dauerte etwa 4,4 Sekunden pro Bild, während LILI etwa 12,5 Sekunden dauerte. Dies liegt daran, dass der „magische Künstler“ zusätzliche Arbeit leisten muss, um die fehlenden Teile zu malen, aber es ist immer noch viel schneller als andere High-Tech-Methoden, die Diffusionsmodelle verwenden.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir durch den Austausch von hässlichen, falschen grauen Quadraten gegen realistische, KI-generierte Hintergrundfüllungen viel bessere Erklärungen darüber erhalten können, wie die KI die Welt sieht. Die LILI-Methode legt nahe, dass fotorealistische Perturbationen besser mit der Art und Weise übereinstimmen, wie die KI trainiert wurde, was zu vertrauenswürdigeren Ergebnissen führt. Auch wenn es etwas mehr Rechenleistung erfordert und eine sorgfältige Abstimmung der „Maskenexpansion“ benötigt, um keine Spuren zu hinterlassen, ist dieser Kompromiss es wert. Die Autoren schlagen vor, dass dieser Ansatz uns hilft, KI mehr zu vertrauen, insbesondere in Situationen, in denen wir genau wissen müssen, warum ein Computer eine Entscheidung getroffen hat, ohne die Verwirrung durch unnatürliche Artefakte.