Doomed to Re-Annotate, Forever: The ImageNet Story

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu sehen, wie ein Kind, das lernt, Tiere im Zoo zu erkennen. Um dies zu tun, benötigen Sie ein riesiges Bilderbuch, in dem jedes Foto mit dem korrekten Namen dessen beschriftet ist, was darin zu sehen ist. In der Welt des Computer Vision wird dieses „Bilderbuch“ als ImageNet bezeichnet. Seit über einem Jahrzehnt ist es der Goldstandard, der ultimative Test, um zu sehen, ob die Augen eines Roboters schärfer werden. Der Test ist einfach: Zeigen Sie dem Roboter ein Bild und fragen Sie: „Was ist das Hauptobjekt in diesem Foto?“ Wenn der Roboter das richtige Wort rät, bekommt er einen Punkt. Dieser Wert, genannt „Top-1-Genauigkeit“, war die Bestenliste für jeden großen Durchbruch in der künstlichen Intelligenz.

Es gibt jedoch einen Haken. Stellen Sie sich vor, Ihr Bilderbuch wäre von einer hastigen Menge von Menschen geschrieben worden, die nicht viel über Tiere wussten und pro Stunde bezahlt wurden. Sie könnten ein zweites Tier übersehen, das im Gebüsch versteckt ist, einen Spielzeughund als echten Hund bezeichnen oder ein Foto einer Spiegelung als das eigentliche Objekt beschriften. Im Laufe der Zeit summieren sich diese kleinen Fehler. Wenn das Testbuch unordentlich ist, können Sie nicht wirklich feststellen, ob der Roboter klug ist oder ob er einfach nur Glück hatte, die unordentlichen Antworten zu erraten. Dieses Paper taucht in dieses unordentliche Bilderbuch ein, um zu sehen, wie groß die Unordnung wirklich ist und ob wir sie bereinigen können, ohne die Bestenliste kaputt zu machen.

Die große ImageNet-Reinigung: Eine Geschichte von unordentlichen Labels und smarten Robotern

Betrachten Sie den ImageNet-1k-Datensatz als ein riesiges, 50.000 Seiten starkes Fotoalbum, das die gesamte Welt der KI verwendet hat, um ihre Augen zu trainieren. Jahrelang haben Forscher dieses Album wie einen heiligen Text behandelt und angenommen, dass jedes Label perfekt sei. Doch die Autoren dieses Papers, ein Team der Tschechischen Technischen Universität in Prag, beschlossen, der ganzen Sache mit einer Lupe auf den Grund zu gehen. Sie stellten eine einfache, erschreckende Frage: Was, wenn die Antworten in unserem Testbuch falsch sind?

Sie haben nicht nur in ein paar Seiten hineingeschaut; sie haben den gesamten Validierungssatz von Grund auf neu annotiert. Das bedeutet, sie haben jedes einzelne der 50.000 Bilder noch einmal betrachtet, aber dieses Mal mit einem viel klügeren, sorgfältigeren Ansatz. Sie erkannten, dass die alte Art der Beschriftung – bei der ein Mensch nur ein Wort für ein Bild wählen musste – so war, als würde man versuchen, eine chaotische Party zu beschreiben, indem man nur die Person benennt, die am nächsten an der Tür steht. Man könnte den DJ, den Kuchen oder die Katze auf dem Tisch übersehen.

Die große Enthüllung: Das Album war ein Chaos
Als sie ihre Arbeit abgeschlossen hatten, stellten sie fest, dass die ursprünglichen Labels weit davon entfernt waren, perfekt zu sein.

• Die „Falsche Antwort“-Rate: Etwa 12 % der Bilder hatten ein völlig falsches Label. Es ist so, als würde ein Bild einer Katze als Hund beschriftet werden.
• Die „Fehlende Objekte“-Rate: Gan whopping 33,3 % der Bilder enthielten tatsächlich mehrere wichtige Dinge, aber die alten Labels wählten nur eines aus. Wenn ein Foto einen Hund, einen Ball und einen Zaun zeigte, sagte das alte Label vielleicht nur „Hund“ und ignorierte den Rest.
• Die „Kein Treffer“-Rate: Überraschenderweise enthielten 3,8 % der Bilder überhaupt nichts aus der Liste der 1.000 Kategorien, die sie eigentlich testen sollten. Dies waren einfach leere Flächen oder Dinge, die nicht in die Regeln passten.

Um dies zu beheben, kreierte das Team ReImageNet. Anstatt Menschen zu zwingen, einen einzelnen Gewinner zu wählen, erlaubten sie Multilabel-Annotationen. Sie ließen die Annotatoren sagen: „Okay, da ist ein Hund, ein Ball und ein Zaun.“ Sie fügten auch spezielle „Attribute“ hinzu, um schwierige Situationen zu handhaben:

• Reflektion: Wenn man ein Gesicht in einem Spiegel sieht, ist das ein Gesicht? Ja, aber es ist eine Reflektion.
• Darstellung (Rendition): Ist das eine echte Waffe oder eine Spielzeugwaffe? Das Label muss den Unterschied kennen.
• Menschenmenge (Crowd): Wenn fünfzig Menschen in einem Foto sind, zählen wir sie alle? Sie erstellten ein spezielles Tag für Gruppen, damit die Annotatoren nicht fünfzig winzige Boxen zeichnen mussten.

Das „Mensch + Roboter“-Team
Einer der interessantesten Teile ihrer Geschichte ist, wie sie es gemacht haben. Sie haben nicht einfach eine Menge Fremder im Internet angestellt (eine Methode namens Crowdsourcing) und gehofft, dass es gut geht. Sie fanden heraus, dass Crowdsourcing oft zu Verwirrung führt, weil die Regeln zu schwer in einem kurzen Handbuch zu erklären sind.

Stattdessen bauten sie ein „Dream Team“. Sie stellten eine kleine Gruppe geschulter Experten ein und gaben ihnen eine Superkraft: KI-Assistenten. Sie nutzten leistungsstarke KI-Modelle (wie GPT-4o und andere), um zuerst die Fotos zu betrachten und vorzuschlagen, was darauf zu sehen war. Dann überprüften die menschlichen Experten diese Vorschläge. Es war eine Kollaboration: Die KI war der schnelle, unermüdliche Scout, und der Mensch war der sorgfältige Editor. Das Paper fand heraus, dass diese Kombination der beste Weg war, um qualitativ hochwertige Labels zu erhalten. Die KI allein war nicht perfekt, und die Menschen allein waren zu langsam, aber zusammen erreichten sie ein neues Niveau an Genauigkeit.

Was passierte, als sie die Roboter testeten?
Nachdem sie die neuen, sauberen Labels hatten, ließen sie die alten KI-Modelle den Test erneut durchlaufen. Die Ergebnisse waren eine Mischung aus „Ups“ und „Wow“.

• Die alte Garde (Supervised Models): Die traditionellen KI-Modelle, die mit den unordentlichen alten Labels trainiert wurden, verbesserten sich nicht viel. Ihre Scores stiegen nur um 0,05 % bis 1,2 %. Es scheint, dass sie bereits gelernt hatten, die unordentlichen Antworten ziemlich gut zu erraten.
• Die Neuen (MLLMs): Die neueren, fortgeschritteneren Modelle (Multimodale Large Language Models) verzeichneten einen riesigen Sprung. Ihre Scores erhöhten sich um 5 % bis 6 %. Dies deutet darauf hin, dass diese klügeren Modelle durch die alten, unordentlichen Labels tatsächlich verwirrt waren. Als die Labels bereinigt wurden, zeigten sie endlich, wie klug sie wirklich waren.

Die „Zoom-In“-Überraschung
Das Team machte auch etwas Cleveres: Sie schnitten die spezifischen Objekte aus den Fotos aus (wie das Zuschneiden eines Bildes nur auf den Hund) und testeten die Roboter an diesen winzigen Teilen. Sie fanden heraus, dass die alten Arten von Robotern sehr schlecht darin waren, Dinge zu erkennen, wenn der Hintergrund fehlte. Ihre Genauigkeit sank um bis zu 33 %. Das bedeutet, dass diese Roboter sich eher auf den Hintergrund verließen (wie das Wissen, dass ein Hund normalerweise auf Gras ist), anstatt den Hund tatsächlich zu erkennen. Die neuen, klügeren Modelle waren hier viel besser, was bewies, dass sie das Objekt tatsächlich „sahen“.

Der Welleneffekt
Das Paper warnt uns auch, dass dieses Chaos nicht nur in ImageNet existiert. Da so viele andere Tests unter Verwendung von ImageNet als Blaupause erstellt wurden, haben sich die Fehler wie ein Virus ausgebreitet. Die Autoren schätzen, dass diese derivativen Tests 1,7- bis 5,8-mal mehr Fehler aufweisen als das Original. Es ist wie, wenn man ein neues Haus nach einem Bauplan baut, der falsche Maße enthält; das neue Haus wird ebenso schief sein.

Das Fazit
Die Autoren kommen zu dem Schluss, dass wir nicht einfach in einem Schritt einen perfekten Test erstellen können. Es ist keine einmalige Aufgabe; es ist ein Prozess. Man muss ständig prüfen, ständig verfeinern und ständig die besten verfügbaren Werkzeuge nutzen. Sie argumentieren, dass die Tage des „One-Shot“-Labeling vorbei sind. Um die Zukunft der KI zu bauen, brauchen wir eine Partnerschaft zwischen sorgfältigen Menschen und leistungsstarker KI, die ständig die Arbeit des jeweils anderen überprüft.

Kurz gesagt: Das Paper sagt uns, dass wir die KI lange Zeit mit einem Test bewertet haben, der voller Tippfehler war. Jetzt, wo wir die Tippfehler korrigiert haben, sehen wir, dass einige KIs eigentlich viel klüger sind als gedacht, während andere nur gut darin waren, die falschen Antworten zu erraten. Und die Lektion für alle? Vertraue einem Testbuch nicht einfach nur deshalb, weil es alt ist; manchmal musst du es neu schreiben.