Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

Die große Frage: Können wir das „Gehirn" der KI verstehen?

Stellen Sie sich einen superschlauen Roboter vor, der mit unglaublicher Genauigkeit eine Katze, ein Auto oder eine Ampel identifizieren kann. Er ist so gut in seiner Arbeit, dass er zum Fahren von Autos und zur Unterstützung von Ärzten bei der Diagnose von Krankheiten eingesetzt wird. Doch hier liegt das Problem: Wie „sieht" er die Welt eigentlich?

Wenn Sie den Roboter fragen: „Welcher Teil dieses Bildes hat Sie dazu gebracht, zu denken, es sei eine Katze?", hat er keine Stimme. Er verfügt lediglich über interne Signale (Merkmale), die aufleuchten. Die große Frage, die dieses Papier stellt, lautet: Kann ein gewöhnlicher Mensch diese Signale betrachten und verstehen, was sie bedeuten?

Die Autoren nennen dies Interpretierbarkeit. Es geht nicht darum, wie klug der Roboter ist (seine Fähigkeit), sondern darum, wie klar sein Denken für uns ist.

Der alte Weg vs. der neue Weg

Der alte Weg (Die „Multiple-Choice"-Falle):
Frühere Versuche prüften, ob Menschen KI-Merkmale verstanden, indem sie ihnen Bilder zeigten und fragten: „Welches dieser beiden Bilder entspricht dem Signal der KI?"

• Der Fehler: Die Autoren entdeckten einen Trick in dieser Methode. Menschen konnten oft die richtige Antwort finden, indem sie lediglich wussten, was das Merkmal nicht war.
  • Analogie: Stellen Sie sich vor, ich zeige Ihnen ein Bild eines Maisfeldes und ein Bild eines Strandes und sage: „Dieses KI-Signal handelt NICHT von Mais." Sie können leicht den Strand auswählen, selbst wenn Sie keine Ahnung haben, was das Signal tatsächlich ist. Sie schließen lediglich die falsche Antwort aus, anstatt das Signal wirklich zu verstehen. Dies machte den Test unfair und unzuverlässig.

Der neue Weg (Das „Detektiv"-Rahmenwerk):
Die Autoren entwickelten einen neuen, fairen Test mit zwei Teilen, ähnlich einem Detektiv, der ein Rätsel lösen will:

1. Lokalisierbarkeit (Das „Wo"-Spiel):

   • Der Aufbau: Ihnen wird ein „Geheimnis-Signal" zusammen mit einigen Beispielen dafür gezeigt, was es auslöst (z. B. ein Bild eines Reifens, eine Wärmebildkarte, die zeigt, wo das Signal hell ist).
   • Die Aufgabe: Ihnen wird ein neues Bild gezeigt, und Sie werden gebeten, genau dort zu klicken, wo Sie glauben, dass dieses Signal aufleuchten würde.
   • Das Ziel: Können Sie den spezifischen Teil des Bildes (wie den Reifen) zeigen, der dem Signal entspricht?

2. Benennbarkeit (Das „Was"-Spiel):

   • Der Aufbau: Gleiche visuelle Hinweise wie oben.
   • Die Aufgabe: Sie müssen eine kurze Beschreibung schreiben, was das Signal darstellt.
   • Das Ziel: Können Sie es in Worten beschreiben? (z. B. „Es ist ein Autoreifen" oder „Es ist eine rote Ampel").

Um sicherzustellen, dass sie reine „Merkmale" und nicht nur verworrene, gemischte Neuronen testeten, verwendeten sie ein spezielles Werkzeug (einen Sparse Autoencoder), um einzelne, klare Konzepte zu isolieren, ähnlich wie man einzelne Zutaten aus einem Smoothie trennt.

Die schockierende Entdeckung: Besser bedeutet nicht klarer

Die Forscher testeten sechs verschiedene KI-Modelle:

• 2 ältere Modelle: Nach traditioneller, überwachter Art trainiert (wie ein Schüler mit einem Lehrer).
• 4 „Foundation"-Modelle: Die neuen, massiven, superschlagkräftigen Modelle (wie DINO, CLIP), die im gesamten Internet trainiert wurden und fast alles können.

Das Ergebnis:
Die „Foundation"-Modelle waren weniger interpretierbar als die älteren, einfacheren Modelle.

• Die Analogie: Stellen Sie sich vor, die älteren Modelle sind wie ein Schüler, der durch Auswendiglernen eines Lehrbuchs gelernt hat. Sie können ihn leicht fragen: „Warum haben Sie diese Antwort gewählt?", und er gibt einen klaren Grund an.
• Die neuen Foundation-Modelle sind wie ein Genie, das durch das Lesen der gesamten Bibliothek menschlichen Wissens gelernt hat. Sie sind klüger und können schwierigere Probleme lösen, aber wenn Sie sie bitten, ihre Argumentation zu erklären, geben sie eine vage, verwirrende Antwort. Ihre internen „Gedanken" sind für Menschen schwerer zu fassen.

Entscheidend ist: „Klüger" zu sein half nicht. Das Papier fand keinen Zusammenhang zwischen der Leistung des Modells bei Aufgaben (wie der Identifizierung von Objekten) und der Leichtigkeit, mit der Menschen seine Merkmale verstehen konnten. Ein besserer Fahrer zu sein bedeutet nicht, dass Ihr Gehirn leichter zu lesen ist.

Was macht ein Merkmal leicht verständlich?

Die Autoren fanden zwei spezifische Dinge, die es Menschen erleichtern, die „Gedanken" einer KI zu erfassen:

1. Lokalität (Der „Spotlight"-Effekt):

   • Wenn ein Merkmal an einer engen, spezifischen Stelle aufleuchtet (wie nur der Reifen eines Autos), können Menschen es leicht verstehen.
   • Wenn ein Merkmal überall gleichzeitig aufleuchtet (wie das gesamte Auto und die Straße und der Himmel), geraten Menschen in Verwirrung. Die neuen Foundation-Modelle neigen zu diesen „diffusen" Signalen, die zu viel Boden abdecken.
   • Analogie: Es ist leichter, eine bestimmte Person in einer Menge zu finden, wenn sie einen hellroten Hut trägt (lokal), als wenn sie nur „Teil der allgemeinen Stimmung" der Menge ist (diffus).

2. Grobrasterige Ausrichtung (Der „Großbild"-Abgleich):

   • Menschen verstehen die Welt in breiten Kategorien (z. B. „Tiere", „Fahrzeuge"). Wenn die KI ihre Merkmale so organisiert, dass sie diesen großen Kategorien entsprechen, verstehen Menschen sie besser.
   • Wenn sich die KI auf winzige, hyper-spezifische Details konzentriert (wie die genaue Textur eines Schmetterlingsflügels im Vergleich zu einem anderen Schmetterling), finden Menschen es tatsächlich schwieriger, sie zu verstehen.
   • Analogie: Es ist leichter, eine Karte zu erklären, wenn Sie mir „Nordamerika" und „Südamerika" zeigen (grobrasterig), anstatt zu versuchen, die genaue Form jeder einzelnen Straße in einer Stadt zu erklären (feinrasterig).

Der eine Lichtblick: DINOv3

Es gab eine Ausnahme. Ein Modell namens DINOv3 war sowohl sehr leistungsfähig als auch sehr interpretierbar. Warum? Weil die Entwickler es speziell so programmiert haben, dass es nach „lokalen" Merkmalen sucht (Dingen, die an bestimmten Stellen aufleuchten). Dies beweist, dass wir kluge Modelle bauen können, die auch leicht zu verstehen sind, aber wir müssen sie mit diesem Ziel im Hinterkopf entwerfen.

Zusammenfassung

• Fähigkeit $\neq$ Interpretierbarkeit: Nur weil eine KI superschlau ist, bedeutet das nicht, dass wir verstehen können, wie sie denkt. Tatsächlich sind die neuesten, klügsten Modelle oft die schwierigsten zu verstehen.
• Die Kluft: Es gibt eine Lücke zwischen „die Aufgabe gut erledigen" und „die Aufgabe klar erklären".
• Die Lösung: Um KI transparenter zu machen, müssen wir sie darauf trainieren, sich auf spezifische, lokale Details zu konzentrieren und ihr Wissen in breiten, menschenähnlichen Kategorien zu organisieren, anstatt sie einfach nur größer und leistungsfähiger zu machen.

Das Papier kommt zu dem Schluss, dass wir nicht davon ausgehen können, dass die KI mit zunehmender Intelligenz von selbst verständlicher wird. Wir müssen diese Klarheit von Anfang an einbauen.