Every9D-21M: Large-Scale Real-World 9D Canonicalization of Everyday Objects
Dieser Beitrag stellt Every9D-21M vor, einen massiven Datensatz mit 21,8 Millionen realen Bildern und 9D-Pose-Annotationen über 700 Objektkategorien hinweg, der durch die Nutzung objekzzentrierter Videos und instanzübergreifender Ausrichtung entwickelt wurde, um die Knappheit großskaliger realer Supervision für die 9D-Canonicalisierung zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Um dies zu tun, muss der Roboter nicht nur wissen, was ein Objekt ist (wie ein Stuhl oder eine Tasse), sondern genau, wie es sitzt, wie groß es ist und in welche Richtung es zeigt. In der Welt der Computer Vision nennt man dies „9D-Pose-Schätzung" (3D-Position + 3D-Rotation + 3D-Größe).
Das Problem ist, dass es unglaublich schwierig ist, einem Roboter dies beizubringen, weil wir nicht genügend „Lehrbücher" (Datensätze) mit Beispielen aus der realen Welt haben. Die meisten bestehenden Lehrbücher sind entweder:
- Gefälscht: Von Computern erstellt (synthetisch), sodass der Roboter verwirrt ist, wenn er echte, unordentliche Fotos sieht.
- Zu klein: Sie enthalten nur einige tausend Bilder einer Handvoll von Objekten (wie nur 9 Arten von Spielzeug).
Hier kommt „Every9D-21M" ins Spiel: Ein massives neues Lehrbuch
Dieser Artikel stellt einen neuen, gigantischen Datensatz namens Every9D-21M vor. Stellen Sie sich dies als eine Bibliothek vor, die 21,8 Millionen Fotos von 700 verschiedenen Alltagsobjekten enthält (von Stühlen und Tassen bis hin zu Tieren und Werkzeugen). Er ist 100-mal größer als jeder bisherige Datensatz dieser Art aus der realen Welt.
Wie haben sie es gebaut? (Die „Kopieren-Einfügen"-Magie)
Sie fragen sich vielleicht: „Wie haben sie es überhaupt geschafft, 21,8 Millionen Fotos zu etikettieren? Das würde ein menschliches Leben in Anspruch nehmen!"
Sie haben nicht jedes einzelne Foto etikettiert. Stattdessen verwendeten sie eine clevere „referenzbasierte" Strategie, wie eine Hauptkopie und ein Stempel:
- Die Video-Hinweise: Sie begannen mit 109.000 kurzen Videos, die von normalen Menschen aufgenommen wurden, bei denen sie um ein Objekt herumgingen (wie eine Kamera, die um eine Vase kreist).
- Die 3D-Rekonstruktion: Mithilfe von Computer Vision verwandelten sie diese Videos in 3D-Punktwolken (digitale Wolken aus Punkten, die die Form des Objekts bilden).
- Der „Medoid" (Der beste Vertreter): Sie gruppierten ähnliche Objekte zusammen (z. B. alle „Stühle"). Anstatt einen zufälligen Stuhl als „Chef" auszuwählen, wählten sie denjenigen aus, der dem Durchschnitt der Gruppe am ähnlichsten sah.
- Die menschliche Berührung (Der winzige Teil): Menschen mussten nur das „Chef"-Objekt für jede Gruppe manuell etikettieren. Dies erforderte insgesamt etwa 1.000 Annotationen (weniger als 0,01 % der gesamten Daten).
- Der Stempel (Propagation): Sobald der „Chef"-Stuhl mit seiner korrekten Ausrichtung etikettiert war (z. B. „die Rückseite des Stuhls zeigt in diese Richtung"), verwendete der Computer Geometrie und visuelles Matching, um dieselbe Ausrichtung auf jeden anderen Stuhl in der Gruppe zu „stempeln".
- Die Qualitätskontrolle: Menschen überprüften dann schnell die gestempelten Ergebnisse, um sicherzustellen, dass der Computer keinen Fehler gemacht hatte.
Das Ergebnis: Sie erstellten einen massiven, hochwertigen Datensatz mit nur 199 Stunden menschlicher Arbeit. Hätten sie jedes Foto manuell etikettiert, hätte es Tausende von Jahren gedauert.
Warum ist das wichtig?
Der Artikel behauptet, dass das Trainieren von KI-Modellen auf diesem neuen Datensatz sie viel intelligenter macht als Modelle, die auf älteren, kleineren Datensätzen trainiert wurden.
- Bessere Generalisierung: Als sie ein Modell auf Every9D-21M trainierten und es an anderen berühmten Datensätzen testeten (wie ImageNet3D oder HANDAL), schnitt es deutlich besser ab. Es ist wie ein Schüler, der eine massive, vielfältige Bibliothek mit Beispielen aus der realen Welt studiert hat und nun Probleme in einem völlig neuen Klassenzimmer lösen kann.
- Symmetriebewusstsein: Die Forscher erstellten auch Regeln, um mit „Symmetrie" umzugehen. Zum Beispiel sieht eine Flasche gleich aus, wenn man sie um ihre Mitte dreht. Der Datensatz lehrt der KI, diese Regeln zu verstehen, damit sie nicht durch Objekte verwirrt wird, die aus verschiedenen Winkeln gleich aussehen.
Das Fazit
Die Autoren bauten einen „Super-Datensatz", indem sie Tausende von objektspezifischen Videos in 3D-Formen verwandelten, einen winzigen Bruchteil davon manuell etikettierten und dann intelligente Computer-Algorithmen verwendeten, um diese Etiketten auf Millionen anderer Bilder zu kopieren. Dies gibt KI eine viel bessere „Augen-auf-die-Welt"-Grundlage, die es ihr ermöglicht, die 3D-Form und Ausrichtung von Alltagsobjekten viel genauer zu verstehen als zuvor.
Was der Artikel nicht behauptet:
- Er behauptet nicht, dass dies alle Robotik-Probleme sofort löst.
- Er behauptet nicht, dass die Tiefen-(Entfernungs-)Daten perfekte Sensordaten sind (es verwendet KI-geschätzte Tiefe).
- Er behauptet nicht, dass das System auf sich bewegende, dynamische Objekte (wie einen laufenden Hund) auf die gleiche Weise funktioniert wie auf statische; die verwendeten Videos zeigten meist statische Objekte, die aus verschiedenen Winkeln gefilmt wurden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.