AlbumentationsX: One Augmentation Pipeline for Images and Related Annotations

Der große Datentanz: Warum KI die Füße zusammenhalten muss

Stellen Sie sich vor, Sie bringen einem Roboter bei, Katzen zu erkennen. Sie zeigen ihm das Bild einer flauschigen getigerten Katze und sagen dem Roboter: „Das ist eine Katze.“ Aber um den Roboter intelligenter zu machen, beschließen Sie, ihm dieselbe Katze in verschiedenen Situationen zu zeigen: verkehrt herum, herangezoomt oder mit einem lustigen Filter. Dieser Prozess wird Data Augmentation (Datenaugmentation) genannt. Es ist, als würde man dem Roboter tausend verschiedene Brillen geben, damit er lernt, dass eine Katze immer noch eine Katze ist, egal ob er sie durch ein Fischaugenobjektiv oder ein Kaleidoskop sieht.

Es gibt jedoch einen kniffligen Teil. Ein Trainingsbeispiel ist nicht nur ein Bild; es ist ein Bild plus eine Karte, wo sich die Katze befindet (eine sogenannte Annotation). Wenn Sie das Bild der Katze rotieren, aber vergessen, auch die Karte zu rotieren, wird der Roboter verwirrt. Er sieht den Kopf der Katze nach links zeigen, aber die Karte sagt, der Körper sei auf der rechten Seite. Diese Unstimmigkeit korrumpiert die Lektion. Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem: Wie man sicherstellt, dass, wenn man ein Bild dreht, wendet, zuschneidet oder die Farben verändert, jedes einzelne an das Bild gebundene Informationsstück im perfekten Gleichschritt mitwandert.

---

Treffen Sie AlbumentationsX: Der Dirigent des Chaos

Hier kommt AlbumentationsX ins Spiel, ein neues Werkzeug, das als der ultimative Dirigent für diesen chaotischen Tanz der Daten konzipiert wurde. Stellen Sie sich ein Trainingsbeispiel wie ein komplexes Orchester vor. Sie haben das Hauptinstrument (das Bild), die Notenblätter (die Maske oder die Umrisse von Objekten), die Noten für spezifische Instrumente (Bounding Boxes/Begrenzungsrahmen) und sogar die Positionen der Tänzer (Keypoints/Schlüsselpunkte). In der Vergangenheit passierte es, wenn man die Musik ändern wollte, dass man eine Person bat, die Notenblätter zu rotieren, und eine andere Person, das Bild zu rotieren. Wenn diese nicht miteinander kommunizierten, war das Ergebnis eine Katastrophe.

AlbumentationsX löst dies, indem es das gesamte Orchester in eine einzige riesige, magische Box namens Compose-Objekt steckt. Anstatt verschiedene Personen mit verschiedenen Aufgaben zu betrauen, übergeben Sie die gesamte Box einem einzigen Dirigenten. Wenn der Dirigent „Rotieren!“ oder „Zuschneiden!“ ruft, legt er die exakten Koordinaten nur einmal fest und wendet sie gleichzeitig auf das Bild, die Maske, die Boxen und die Keypoints an. Dies stellt sicher, dass, wenn eine Katze aus dem Bild ausgeschnitten wird, ihr Umriss auch im exakt selben Moment aus der Karte ausgeschnitten wird. Keine unpassenden Daten mehr!

Die Magie des „Ein-Aufruf-Prinzips“

Das Papier erklärt, dass AlbumentationsX eine strikte Liste von Regeln (die Policy) und einen einzigen Zufallssamen (den Startpunkt für die Magie) einhält. Wenn Sie das Werkzeug bitten, eine Probe zu verarbeiten, würfelt es nur ein einziges Mal. Es entscheidet: „Okay, ich werde dieses Bild spiegeln, und ich werde auch die Maske und die Boxen spiegeln.“ Es spiegelt nicht erst das Bild und würfelt dann erneut, um zu entscheiden, ob es die Maske spiegelt. Dieser einzige Entscheidungsmoment garantiert, dass alles ausgerichtet bleibt.

Das Werkzeug ist unglaublich flexibel. Es kann handhaben:

• Stereovision: Stellen Sie sich vor, Sie machen ein Foto mit zwei Kameras (links und rechts). AlbumentationsX behandelt diese beiden Bilder als ein Paar und stellt sicher, dass, wenn Sie den linken Ausschnitt zuschneiden, der rechte Ausschnitt exakt denselben Zuschnitt erhält.
• Tiefenkarten (Depth Maps): Dies sind wie 3D-Karten, die zeigen, wie weit Dinge entfernt sind. Das Werkzeug weiß, dass man zwar die Helligkeit eines Farbfotos ändern kann, aber die Geometrie der Tiefenkarte nicht manipulieren sollte. Es hält die Formänderungen konsistent, überspringt aber die Farbänderungen für die Tiefenkarte.
• Videoclips: Wenn Sie ein Video haben, wollen Sie nicht, dass die Kamera zufällig hin- und herspringt. AlbumentationsX behandelt den gesamten Clip als eine Einheit, sodass, wenn Sie das Video zuschneiden, Sie jeden einzelnen Frame am exakt gleichen Ort zuschneiden, was einen flüssigen, natürlichen Zoom statt eines ruckeligen Durcheinanders erzeugt.

Eigene Regeln erstellen

Eine der coolsten Funktionen ist, dass Sie Ihre eigenen benutzerdefinierten Bewegungen erstellen können. Vielleicht benötigt Ihr Projekt die Simulation eines spezifischen Typs von Kamerafehler oder eines seltsamen Sensorenfehlers. Das Papier zeigt, wie Sie eine eigene „Transformation“ (eine Bewegung) schreiben und sie direkt in die Pipeline einfügen können. Da sie sich innerhalb derselben Box befindet, folgt sie denselben Regeln und Wahrscheinlichkeiten wie die eingebauten Bewegungen. Es ist, als würde man einen neuen Tanzschritt zur Choreografie hinzufügen; solange er Teil der Routine ist, machen alle gemeinsam mit.

Das Sicherheitsnetz: Die Magie wiederholen

Was ist, wenn der Roboter etwas Seltsames lernt und Sie genau wissen wollen, was passiert ist? Das Papier schlägt einen cleveren Trick vor: ReplayCompose. Sie können eine Aufzeichnung genau der zufälligen Entscheidungen speichern, die während eines bestimmten Aufrufs getroffen wurden. Später können Sie diese Aufzeichnung wieder einspielen, und das Werkzeug wird exakt dieselbe Transformation rekonstruieren. Es ist wie das Drücken der „Rückgängig“-Taste in einem Videospiel-Level, aber anstatt in der Zeit zurückzuge-gehen, spielen Sie die exakt gleiche Sequenz von Ereignissen ab, um zu sehen, an welcher Stelle der Fehler aufgetreten ist.

Was dieses Werkzeug leistet (und was nicht)

Der Autor ist sehr deutlich darüber, was AlbumentationsX ist und was nicht. Es ist ein Werkzeug zur Ausrichtung, kein Gedankenleser. Es wird bereitwillig ein Bild einer Katze auf den Kopf stellen, aber es wird Ihnen nicht sagen, ob das für Ihre spezifische Aufgabe eine gute Idee ist. Wenn Sie einen Roboter trainieren, Straßenschilder zu lesen, könnte das Umdrehen des Bildes dazu führen, dass das Schild unlesbar wird, und das Werkzeug wird Sie nicht aufhalten. Der menschliche Experte muss weiterhin entscheiden, welche Bewegungen für sein spezifisches Problem sinnvoll sind.

Das Papier merkt auch an, dass zwar andere Werkzeuge existieren (wie TorchVision oder Kornia), AlbumentationsX jedoch dadurch heraussticht, dass es eine riesige Bibliothek von 121 verschiedenen 2D-Transformationen besitzt und speziell dafür gebaut wurde, all diese verschiedenen Datentypen (Bilder, Masken, Boxen, Videos) perfekt zu synchronisieren. Es behauptet nicht, das Schnellste oder der einzige Weg zu sein, aber es bietet eine sehr zuverlässige Komplettlösung, die verhindert, dass die Daten durch unpassende Änderungen „korrumpiert“ werden.

Kurz gesagt: AlbimentationsX ist der Hüter der Konsistenz. Es stellt sicher, dass, wenn Sie mit Ihren Daten spielen, um ein Computer-Vision-Modell zu trainieren, Sie die Lektion nicht versehentlich zerstören, indem Sie das Bild bewegen, aber die Karte zurücklassen. Es ist der Unterschied zwischen einer chaotischen Tanzfläche, auf der jeder über seine eigenen Füße stolpert, und einer perfekt choreografierten Aufführung, bei der jede Bewegung im Einklang steht.