Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, bestimmte Dinge in einem riesigen, endlosen Meer aus Satellitenfotos zu entdecken. Vielleicht wollen Sie Schiffe, Flugzeuge oder Autos finden. Der Roboter ist klug, aber ohne Lehrer ist er blind. Um zu lernen, muss man ihm tausende Bilder zeigen, bei denen ein Mensch ein Kästchen um jedes einzelne Objekt gezeichnet hat und ihm sagt: „Das ist ein Schiff“ oder „Das ist ein Auto“. Dieser Prozess wird als „Annotation“ bezeichnet und ist unglaublich teuer und langweilig. Menschen müssen winzige Pixel anstarren und stundenlang Kästchen herumziehen.

Hier kommt Active Learning ins Spiel. Betrachten Sie dies als einen superintelligenten Tutor, der nicht verlangt, dass der Schüler jede einzelne Aufgabe aus dem Lehrbuch übt. Stattdessen schaut der Tutor auf die Schwachstellen des Schülers und sagt: „Du bist gut in Mathe, aber du machst ständig Fehler bei den Brüchen. Lass uns für die nächste Stunde nur Brüche üben.“ In der Welt der KI bedeutet das, dass der Computer die konfusesten oder nützlichsten Bilder auswählt, die ein Mensch beschriften soll, was Zeit und Geld spart. Aber hier ist der Haken: Wenn der Roboter brandneu ist (die „Cold-Start“-Phase), ist er so verwirrt, dass er nicht einmal sagen kann, welche Bilder am verwirrendsten sind. Er zieht vielleicht Kästchen an den falschen Stellen, was es für den menschlichen Lehrer schwierig macht zu wissen, was zu korrigieren ist. Diese Arbeit versucht, diesen chaotischen Anfang zu lösen, indem sie dem Roboter „Trainingsräder“ gibt, die aus einer anderen Art von superintelligenter KI bestehen.

---

Das Problem: Ein Roboter, der seine Kästchen nicht findet

In der Welt der Fernerkundung (dem Blick von oben auf die Erde) ist das Finden von Objekten knifflig. Die Objekte sind winzig, die Winkel sind seltsam und es gibt so viele von ihnen. Bestehende Methoden, um Roboter darin zu unterrichten, verlassen sich auf die eigenen Vermutungen des Roboters, um zu entscheiden, was als Nächstes gelernt werden soll. Aber wenn der Roboter gerade erst anfängt, sind seine Vermutungen wackelig. Er ist vielleicht ganz gut darin zu sagen: „Das ist ein Schiff!“ (Klassifizierung), aber schlecht darin, das Kästchen darum zu ziehen (Lokalisierung). Es ist wie ein Schüler, der weiß, dass die Antwort „42“ lautet, aber sie immer auf der falschen Zeile der Prüfung schreibt.

Da die Kästchen des Roboters zu Beginn so unordentlich sind, wird der „Active Learning“-Tutor verwirrt. Er denkt, dass die unordentlichen Kästchen die wichtigsten Dinge sind, aus denen man lernen muss, oder er lässt sich von künstlicher Varianz ablenken (indem er glaubt, zwei leicht unterschiedliche unordentliche Kästchen seien zwei völlig verschiedene Dinge). Dies führt zu viel verschwendeter Zeit und frustrierten menschlichen Annotatoren, die Kästchen immer wieder neu zeichnen müssen.

Die Lösung: Ein Team aus Super-Lehrern

Die Autoren dieser Arbeit schlagen ein neues Framework vor, das ein „Foundation Model“ zur Hilfe heranzieht. Betrachten Sie ein Foundation Model als einen Generalisten-Genie, der fast alles auf der Welt gesehen hat und weiß, wie Objekte im Allgemeinen aussehen, selbst wenn er deren spezifische Namen noch nicht kennt.

Sie haben ein System mit zwei Haupthelfern gebaut, die zusammenarbeiten:

1. Die „ruhige Hand“ (SA-source): Dieser Helfer nutzt eine leistungsstarke KI namens UPN und SAM2. Stellen Sie sich UPN als einen Scout vor, der ein Netz über das gesamte Bild wirft und alles einfängt, was ein Objekt sein könnte, egal was es ist. Dann agiert SAM2 wie ein präziser Chirurg, der die exakte Form des Objekts ausschneidet und ein perfektes Kästchen darum zieht. Dieser Helfer kümmert sich nicht darum, wie das Objekt heißt; er liefert lediglich ein superstabiles, akkurates geometrisches Kästchen. Es sind die „Trainingsräder“, die verhindern, dass der Roboter umkippt.
2. Die „kluge Vermutung“ (OD-source): Dies ist der Roboter, den sie eigentlich trainieren wollen. Er betrachtet das Bild und versucht zu erraten, was das Objekt ist und wo es sich befindet.

Wie sie zusammenarbeiten: Der magische Schalter

Das Papier führt eine clevere Methode ein, um diese beiden Helfer zu kombinieren, die sie Foundation-Enhanced Dual-Source Uncertainty nennen.

Anstatt den verwirrten Roboter zu fragen: „Was denkst du?“ und seine unordentliche Antwort zu nehmen, fragt das System die „ruhige Hand“ nach dem perfekten Kästchen-Standort und die „kluge Vermutung“ nach dem Namen. Dann vergleicht es sie. Wenn die Vermutung des Roboters bezüglich des Namens wackelig ist oder wenn sein Kästchen nicht mit dem perfekten Kästchen der „ruhigen Hand“ übereinstimmt, weiß das System, dass dieses Bild ein hervorragender Kandidat für eine menschliche Beschriftung ist. Dies löst das „Cold-Start“-Problem, da das System nicht auf die wackeligen Kästchen des Roboters angewiesen ist, um Entscheidungen zu treffen, sondern die soliden Kästchen des Foundation Models als Referenz nutzt.

Sie haben auch ein Problem namens „Pseudo-Diversität“ behoben. Manchmal fängt die „ruhige Hand“ dasselbe Objekt zweimal als zwei winzige, überlappende Fragmente ein. Ein normales System würde denken: „Wow, zwei verschiedene Dinge!“ und die Zeit eines Menschen verschwenden, um dasselbe Objekt zweimal zu beschriften. Die Autoren haben eine Regel zur „Fragmentationsunterdrückung“ hinzugefügt, die besagt: „Hey, diese beiden Kästchen sind im Grunde dasselbe; zählen wir sie als eines.“ Dies stellt sicher, dass der menschliche Annotator eine große Vielfalt an wirklich verschiedenen Objekten sieht, nicht nur unordentliche Duplikate.

Der „Kästchen-Wechsel“ für schnelleres Beschriften

Der vielleicht spielerischste Teil ihrer Erfindung ist das Dual-Source Box Switching (DSBS). Wenn ein menschlicher Annotator ein Bild zum Beschriften öffnet, zeigt das System ihm nicht das unordentliche, wackelige Kästchen des Roboters. Stattdessen tauscht es es aus! Es nimmt die Vermutung des Roboters für den Namen (z. B. „Das ist ein Schiff“), ersetzt aber das unordentliche Kästchen durch das perfekte Kästchen der „ruhigen Hand“.

Es ist, als ob man ein Videospiel spielt, in dem der Gegner sich bewegt, aber das Spiel automatisch das Fadenkreuz perfekt in die Mitte des Gegners schnappt. Man muss nur noch den Knopf drücken, um zu bestätigen. Dies erspart dem Menschen das ständige Ziehen und Skalieren von Kästchen, was den nervigsten Teil der Arbeit ausmacht. Das Paper legt nahe, dass dies besonders in der Anfangsphase hilfreich ist, wenn der Roboter noch lernt, zu laufen.

Was sie herausgefunden haben

Die Autoren haben ihr System an vier Datensätzen von Satellitenbildern (DIOR, HRSC2016, DOTAv2 und FAIR1M) getestet. Sie fanden heraus:

• Besserer Start: In den frühen Stadien (als sie nur wenige beschriftete Bilder zur Verfügung hatten) war ihre Methode viel besser darin, die richtigen Bilder für die Beschriftung auszuwählen als andere Methoden. Sie half dem Roboter, schneller zu lernen, wenn er am verwirrtesten war.
• Weniger Arbeit: Durch die Verwendung des „Box Switch“ konnten sie die Zeit, die Menschen mit dem Korrigieren von Kästchen verbrachten, signifikant reduzieren. Das System deutet darauf an, dass dies ein praktischer Weg ist, um den gesamten Prozess zu beschleunigen.
• Keine falsche Varianz mehr: Ihre Methode zur Unterdrückung von „Pseudo-Diversität“ funktionierte gut und stellte sicher, dass die menschlichen Annotatoren keine Zeit mit redundanten, fragmentierten Objekten verschwendeten.

Die Ergebnisse zeigten, dass ihr Ansatz über die meisten Budgets hinweg bessere oder vergleichbare Ergebnisse zu bestehenden Methoden erzielte, mit einem besonders starken Vorteil, wenn das Budget für die Beschriftung sehr gering war. Sie behaupteten nicht, das Problem der KI-Annotation für immer gelöst zu haben, aber sie schlugen vor, dass die Kombination dieser „Foundation Model“-Werkzeuge mit Active Learning ein sehr vielversprechender Weg ist, um diese Datensätze schneller, günstiger und weniger frustrierend für alle Beteiligten zu machen.