Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

In der Welt der künstlichen Intelligenz gibt es eine wachsende Klasse von Modellen, die darauf ausgelegt sind, Bilder anzusehen und sie zu verstehen, ganz ähnlich wie ein Mensch. Diese Systeme, bekannt als Vision Transformer, scannen ein Bild nicht Pixel für Pixel in einer geraden Linie. Stattdessen zerlegen sie das Bild in viele kleine quadratische Patches (Teilstücke), wobei sie jeden Patch als ein eigenständiges Informationsstück oder „Token“ behandeln. Das Modell verarbeitet dann alle diese Token gemeinsam und gewichtet, wie viel Aufmerksamkeit jedem einzelnen zusteht, um eine endgültige Entscheidung zu treffen. Dieser Ansatz ist unglaublich leistungsstark für Aufgaben wie die Identifizierung einer bestimmten Vogelart oder eines seltenen Automodells, bei denen der Unterschied zwischen zwei Kategorien so subtil sein kann wie die Krümmung eines Schnabels oder die Form eines Scheinwerfers. Da diese Modelle jedoch jeden einzelnen Patch betrachten, können sie sehr langsam und rechenintensiv werden, insbesondere beim Umgang mit hochauflösenden Bildern. Um sie zu beschleunigen, haben Ingenieure eine Technik namens Token-Pruning entwickelt. Dies ist eine Methode, um die weniger wichtigen Patches frühzeitig im Prozess zu verwerfen und nur die relevantesten zu behalten, um Zeit und Energie zu sparen. Die entscheidende Frage war bisher: Wie entscheiden wir, welche Patches am wichtigsten sind?

Jahrelang stützte sich die Standardmethode, um diese Entscheidung zu treffen, auf ein spezifisches Signal innerhalb des Modells, indem sie das System im Wesentlichen fragte, wohin seine eigene „Aufmerksamkeit“ natürlich gelenkt wurde. Forscher gingen davon aus, dass, wenn das Modell einem Patch Aufmerksamkeit schenkt, dieser Patch auch die entscheidenden Details für die Identifizierung enthalten muss. Eine neue Studie stellt diese lang gehegte Annahme jedoch infrage. Die Forscher entdeckten, dass die Methode, die verwendet wird, um zu entscheiden, welche Patches aus Gründen der Geschwindigkeit beibehalten werden sollen, nicht unbedingt dieselbe Methode ist, die sicherstellt, dass das Modell tatsächlich die richtigen Teile des Objekts betrachtet. Sie fanden heraus, dass ein System, das darauf optimiert ist, die Patches beizubehalten, die am besten mit der physischen Form eines Vogels oder eines Autos übereinstimmen, oft Entscheidungen trifft, die ebenso zuverlässig sind wie das Standardsystem, aber einer völlig anderen internen Logik folgen. Tatsächlich können die beiden Ziele – das Beibehalten der richtigen physischen Teile und das Beibehalten der richtigen Logik für die endgültige Antwort – in unterschiedliche Richtungen ziehen, was bedeutet, dass das Werkzeug, das das Modell beschleunigt, den wahren Grund, warum das Modell funktioniert, verbergen könnte.

Das Team hinter dieser Forschung, das an Universitäten in Ghana ansässig ist, setzte sich zum Ziel, diesen Diskonnekt mithilfe der feingliedrigen visuellen Klassifizierung (Fine-Grained Visual Classification) zu testen, einem Bereich, der sich der Unterscheidung sehr ähnlicher Dinge widmet, wie etwa verschiedener Flugzeugmodelle oder Vogelrassen. Sie verwendeten eine Standardversion eines kleineren Vision-Transformer-Modells und testeten es auf drei bekannten Datensätzen: Bildern von Vögeln, Autos und Flugzeugen. Ihr Ziel war es, zwei verschiedene Wege zu vergleichen, mit denen man die Qualität eines Pruning-Systems beurteilen kann. Das erste Maß betrachtete die „Part Coverage“ (Teileabdeckung), was einfach prüft, ob die vom Modell behaltenen Patches tatsächlich mit den realen, physischen Teilen des Objekts überlappen, wie etwa den Flügeln eines Flugzeugs oder dem Kühler eines Autos. Das zweite Maß betrachtete die „Faithfulness“ (Treue), was prüft, ob die endgültige Entscheidung des Modells dieselbe bleibt, egal ob es das vollständige Bild oder nur die gekürzte Version sieht. Wenn eine Pruning-Methode wirklich gut ist, sollte sie in beiden Punkten erfolgreich sein.

Die Forscher testeten verschiedene Strategien, um zu entscheiden, welche Patches beibehalten werden sollen. Eine Strategie nutzte das Standard-„Attention“-Signal, welches die Methode ist, die die meisten Systeme heute verwenden. Sie testeten auch eine neue Strategie, die untersuchte, wie sich der interne Zustand des Modells veränderte, wenn der Input leicht verändert wurde – eine Technik, die eine tiefere, direktere Beziehung zwischen dem Bild und der endgültigen Antwort erfasst. Als sie die Experimente durchführten, waren die Ergebnisse überraschend. Die neue Strategie, die dieses tiefere interne Signal nutzte, war signifikant besser darin, die Patches beizubehalten, die die tatsächlichen Teile der Objekte abdeckten. Beim Datensatz für Flugzeuge beispielsweise verbesserte diese neue Methode die Abdeckung der tatsächlichen Flugzeugteile um mehr als sechs Prozentpunkte im Vergleich zur Standardmethode. Doch als sie die „Faithfulness“ überprüften – also die Fähigkeit des gekürzten Modells, dieselbe korrekte Entscheidung wie das vollständige Modell zu treffen –, waren die beiden Methoden nahezu identisch. Die neue Methode machte das Modell nicht weniger zuverlässig; sie sorgte lediglich dafür, dass das Modell öfter auf die richtigen Dinge schaut, ohne das endgültige Urteil zu ändern.

Diese Erkenntnis offenbart eine verborgene Lücke in der Art und Weise, wie diese Systeme derzeit evaluiert werden. Lange Zeit ging das Fachgebiet davon aus, dass, wenn eine Pruning-Methode die Genauigkeit des Modells beibehält, sie auch die korrekten Teile des Bildes betrachtet. Die Studie zeigt, dass dies nicht immer der Fall ist. Ein System kann präzise sein, während es auf die falschen Patches schaut, oder es kann präzise sein, während es auf die richtigen Patches schaut, aber einen anderen internen Pfad nutzt, um dorthin zu gelangen. Die Forscher führten ein neues Framework ein, um diese Lücke zu messen, das sie als „Decoupling“ (Entkopplung) bezeichnen. Sie fanden heraus, dass diese Lücke am deutlichsten sichtbar ist, wenn das Modell das Bild in einer spezifischen, intermediären Phase seiner Verarbeitung betrachtet. Wenn das Modell zu früh oder zu spät in seiner Verarbeitungskette hinschaut, verschwindet der Unterschied zwischen den beiden Methoden. Sie fanden auch heraus, dass dieser Effekt am stärksten ist, wenn das Modell gezwungen wird, sehr effizient zu sein, also nur einen kleinen Bruchteil der ursprünglichen Bildpatches beizubehalten.

Die Studie untersuchte auch sorgfältig die Möglichkeit, dass diese Verbesserungen lediglich darauf zurückzuführen waren, dass die neue Methode über mehr Rechenleistung oder zusätzliche Parameter verfügte, die sie lernen konnte. Durch den Vergleich ihrer neuen Methode mit einer Version, die über die gleiche zusätzliche Kapazität verfügte, aber nicht mit dem spezifischen neuen Signal trainiert wurde, bestätigten sie, dass die Verbesserung aus der spezifischen Art und Weise resultierte, wie das Modell angewiesen wurde, auf das Bild zu schauen, und nicht bloß daraus, dass es über mehr Werkzeuge verfügte. Sie fanden heraus, dass die Standardmethode, die sich auf das natürliche Attention-Signal des Modells verlässt, oft daran scheiterte, die kritischsten Teile des Objekts zu erfassen, wenn das Modell gezwungen war, effizient zu arbeiten. Im Gegensatz dazu wählte die neue Methode konsistent die Patches aus, die den physischen Merkmalen entsprachen, die Menschen zur Identifizierung des Objekts verwenden würden.

Diese Entdeckung ist wichtig, weil sie verändert, wie wir diese KI-Systeme bauen und ihnen vertrauen sollten. Wenn ein Entwickler ein schnelles System zur Identifizierung von Vogelarten erstellen möchte, kann er nicht einfach davon ausgehen, dass die Standard-Pruning-Methode ausreichend ist. Er könnte ein schnelles System erhalten, das zwar funktioniert, aber vielleicht genau die Federn oder Schnabelformen ignoriert, die die Art definieren. Die Studie legt nahe, dass sie durch die Verwendung eines anderen Trainingssignalss ein System erhalten können, das genauso schnell und genauso genau ist, aber tatsächlich auf den Schnabel und die Flügel des Vogels schaut. Die Forscher betonen, dass dies keine magische Lösung ist, die in jeder Situation funktioniert; der Effekt hängt stark von der spezifischen Größe des Modells und davon ab, wie viel des Bildes beibehalten wird. Für die spezifischen Arten kleiner, effizienter Modelle, die in vielen realen Anwendungen eingesetzt werden, bietet der neue Ansatz jedoch einen klaren Weg zu besserer Leistung.

Die Forscher merkten auch an, dass dieses Phänomen nicht universell ist. Als sie eine viel größere, leistungsfähigere Version des Modells testeten, verschwand der Unterschied zwischen den beiden Methoden. Dies deutet darauf hin, dass das Problem spezifisch für die Beschränkungen kleinerer, schnellerer Modelle ist, die oft in praktischen Anwendungen eingesetzt werden. In diesen kleineren Modellen ist die Standardmethode, zu entscheiden, was beibehalten werden soll, nicht so präzise, wie sie sein könnte. Die Studie liefert den Ingenieuren eine klare Orientierung: Wenn Sie benötigen, dass Ihr Modell schnell ist und es gleichzeitig auf die richtigen Teile des Bildes schauen soll, sollten Sie das neue Trainingssignal verwenden. Wenn es Ihnen nur um die endgültige Geschwindigkeit und Genauigkeit geht, mag die alte Methode noch funktionieren, aber Sie gehen das Risiko ein, dass das Modell seine Entscheidungen aus den falschen Gründen trifft.

Letztendlich bringt diese Arbeit eine neue Ebene der Klarheit in das Feld der Computer Vision. Sie zeigt, dass Effizienz und Erklärbarkeit nicht immer dasselbe sind. Ein Modell kann effizient sein, ohne transparent zu sein, und es kann transparent sein, ohne effizient zu sein. Indem sie diese beiden Ziele trennen, haben die Forscher der wissenschaftlichen Gemeinschaft eine bessere Möglichkeit gegeben, diese Systeme zu messen und zu verbessern. Sie haben gezeigt, dass wir mit dem richtigen Training beides haben können: ein System, das schnell genug ist, um auf einem Telefon zu laufen, genau genug, um einen seltenen Vogel zu identifizieren, und ehrlich genug, um uns genau zu zeigen, auf welchen Teil des Vogels es gerade blickt. Dies ist ein bedeutender Schritt nach vorn, um künstliche Intelligenz nicht nur leistungsstark, sondern auch verständlich und zuverlässig zu machen.