Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding
Qwen-3D ist ein neuartiges geometrie-bewusstes Large Multimodal Model, das 3D-Rotary-Positional-Embeddings und einen abfragebasierten Segmentierungsdecoder nutzt, um räumliches Denken, referenzielle Erdung und Instanzsegmentierung über Bilder und Videos hinweg zu vereinheitlichen und somit die Lücke zwischen Sprache und dichten 3D-Geometrie-Vorhersagen effektiv zu schließen, während es bestehende spezialisierte sowie proprietäre Modelle übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu sehen. Lange Zeit waren diese Roboter wie Touristen mit einer Kamera: Sie konnten ein Foto eines Raumes machen und Ihnen sagen: „Das ist ein Stuhl“ oder „Da sind drei Personen“. Das funktioniert hervorragend für flache Fotos oder kurze Videoclips. Aber wenn Sie den Roboter bitten würden, durch ein ganzes Haus zu laufen, denselben Stuhl aus der Küche, dem Flur und dem Schlafzimmer zu betrachten und Ihnen dann genau zu sagen, wo sich der Stuhl im 3D-Raum befindet, wird es chaotisch. Der Roboter gerät durcheinander, weil er versucht, Tausende von separaten 2D-Bildern aneinanderzufügen, was so ist, als würde man versuchen, ein Haus zu bauen, indem man tausende flache Postkarten zusammenklebt. Es ist langsam, verbraucht viel Gehirnschmalz und der Roboter verliert oft die Orientierung darüber, wo sich die Dinge in der realen Welt tatsächlich befinden.
Dies ist die Herausforderung von „3D-Vision-Language-Modellen“. Wissenschaftler wollen eine KI entwickeln, die Objekte nicht nur erkennt, sondern auch deren Form, Lage und Beziehung zu allem anderen in einer 3D-Umgebung versteht, während sie gleichzeitig menschlichen Anweisungen lauscht. Die große Frage lautet: Wie erschaffen wir eine KI, die einen Raum aus jedem Blickwinkel betrachten, das Layout im Gedächtnis behalten und auf das richtige Objekt zeigen kann, ohne sich in einer Flut von Daten zu verlieren? Wenn wir dies lösen können, könnten Roboter endlich unsere Häuser navigieren, uns helfen, verlorene Schlüssel zu finden, oder uns sogar bei komplexen Konstruktionsaufgaben unterstützen – und damit über das bloße „Sehen“ hinaus zum echten „Verstehen“ des Raums um sie herum gelangen.
Hier kommt Qwen-3D ins Spiel, eine neue Art von KI, die von Forschern der Carnegie Mellon University entwickelt wurde und wie ein Architekt für diese digitalen Welten agiert. Anstatt jedes Videobild als separates, flaches Bild zu behandeln, macht Qwen-3D etwas Cleveres: Es nimmt all diese verschiedenen Ansichten und „schmilzt“ sie zu einer einzigen, beständigen 3D-Karte zusammen. Stellen Sie sich vor, Sie könnten eine Reihe von Fotos einer Skulptur aus verschiedenen Winkeln machen und sie augenblicklich zu einer soliden, rotierenden Statue in Ihrem Geist verschmelzen lassen. Genau das macht dieses Modell mit visuellen Daten. Es nutzt die Tiefeninformationen (wie weit entfernt Dinge sind) und die Kamerapositionen, um einen langen, gewundenen Videostream zu einer kompakten 3D-Repräsentation zu komprimieren. Dies ermöglicht es der KI, über die Szene als Ganzes zu urteilen, anstatt in einzelnen Einzelbildern stecken zu bleiben.
Die Arbeit argumentiert, dass frühere Versuche, der KI 3D-Fähigkeiten beizubringen, einen massiven Engpass hatten. Ältere Modelle versuchten, 3D-Positionen als Text zu beschreiben (wie „der Stuhl ist bei den Koordinaten 1,2, 0,8, 0,9“) oder wählten aus einer vorgefertigten Liste möglicher Objekte aus. Die Autoren schlagen vor, dass diese Methoden so sind, als würde man versuchen, ein komplexes Gemälde nur mit einem begrenzten Satz von Emojis zu beschreiben oder zu raten, welcher vorgefertigte Aufkleber am besten passt. Es ist eine ungeschickte und ineffiziente Art der Kommunikation. Qwen-3D behebt dies, indem es das „Gehirn“ der KI (ihre sprachliche Argumentation) direkt mit einer „Hand“ (einem Segmentierungs-Decoder) verbindet, die auf spezifische Teile der 3D-Szene zeigen kann. Anstatt Koordinaten zu erraten, lernt es, die exakte Form des Objekts hervorzuheben, über das der Benutzer spricht, sei es ein Kissen auf einem Bett oder eine Ampel in einer Straßenszene.
Die Ergebnisse sind äußerst beeindruckend. In Tests auf einer Vielzahl von Benchmarks übertraf Qwen-3D bestehende 3D-KI-Modelle und schlug sogar mehrere große, proprietäre 2D-Modelle beim Verständnis von 3D-Räumen. Konkret fanden die Forscher heraus, dass Qwen-3D das 3D-Visual Grounding (das Finden von Objekten basierend auf Beschreibungen) um 4 % verbesserte und das 3D-Instanzsegmentierung (das Trennen einzelner Objekte aus einer Szene) im Vergleich zu den besten bisherigen Methoden um 13 % steigerte. Bemerkenswerterweise gelang dies, ohne dass das Modell seine Fähigkeit zum Verständnis von Standard-2D-Bildern und -Videos verlor, was beweist, dass man ein Modell lehren kann, in 3D zu sehen, ohne dass es vergisst, wie man in 2D sieht.
Die Autoren weisen jedoch vorsichtig darauf hin, dass dies noch kein Allheilmittel für jede Situation ist. Das Modell setzt derzeit voraus, dass die Welt weitgehend statisch ist; es hat Schwierigkeiten mit dynamischen Umgebungen, in denen sich Objekte schnell bewegen oder verändern, wie etwa eine belebte Straße mit vorbeizischenden Autos. Zudem stützt es sich auf externe Werkzeuge, um Tiefe und Kammapositionen zu schätzen, was bedeutet, dass das Verständnis der KI leicht danebenliegen kann, wenn diese ersten Messungen fehlerhaft sind. Während es einen bedeutenden Schritt nach vorn darstellt, um die Lücke zwischen Sprache und 3D-Wahrnehmung zu schließen, deuten die Forscher an, dass zukünftige Arbeiten diese beweglichen Ziele angehen müssen und die KI vielleicht sogar lernen muss, Geometrie eigenständig zu schätzen. Vorerst ist Qwen-3D ein leistungsstarkes neues Werkzeug, das zeigt, dass der Schlüssel zu besserer 3D-KI nicht nur in besseren Daten liegt, sondern in einer klügeren Art und Weise, das, was die KI sieht, mit dem zu verbinden, wie sie spricht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.