arXiv👁️ cs.CV

OnlineSI: Taming Large Language Model for Online 3D Understanding and Grounding

Das Paper stellt OnlineSI vor, ein Framework, das Multimodale Large Language Models durch eine begrenzte räumliche Erinnerung und die Integration von 3D-Punktwolken befähigt, ihre Umgebung kontinuierlich aus einem Videostream zu verstehen und zu verorten, was den Weg für den Einsatz in realen embodied systems ebnet.

Zixian Liu, Zhaoxi Chen, Liang Pan, Ziwei Liu

Veröffentlicht 2026-03-09
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre
Ansehen auf arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, du betrittst ein völlig neues Zimmer. Du gehst langsam umher, schaust dir die Möbel an, öffnest Schränke und versuchst, dir ein Bild von dem Raum zu machen.

Ein herkömmlicher Computer oder eine einfache Kamera würde bei jedem neuen Blickwinkel das Bild „vergessen" und nur das sehen, was gerade im Fokus steht. Ein OnlineSI-System hingegen ist wie ein super-intelligenter, aufmerksamer Architekt, der mit dir durch das Zimmer geht.

Hier ist die Geschichte von OnlineSI, einfach erklärt:

1. Das Problem: Der vergessliche Roboter

Bisher waren KI-Modelle, die Sprache und Bilder verstehen (die sogenannten „Multimodalen Sprachmodelle"), wie Leute mit einem sehr kurzen Gedächtnis. Wenn sie einen Raum betrachten, merken sie sich oft nur das, was sie gerade sehen.

  • Das Problem: Wenn du dich drehst, vergessen sie, was hinter dir war.
  • Das Chaos: Wenn sie versuchen, sich alles zu merken, was sie je gesehen haben, wird ihr Gehirn (der Computer) überlastet und langsam. Es ist, als würde man versuchen, einen ganzen Ozean in eine kleine Kaffeetasse zu füllen.

2. Die Lösung: OnlineSI – Der clevere Notizblock

OnlineSI ist ein neues System, das Roboter und KI-Systeme befähigt, sich in einer sich ständig verändernden Welt zurechtzufinden. Es funktioniert wie ein intelligenter Notizblock, der sich selbst verwaltet.

  • Der endliche Speicher (Die Magie des Vergessens):
    Stell dir vor, dein Notizblock hat nur Platz für 100 Seiten. Wenn du eine neue Seite mit einer neuen Beobachtung (z. B. „Da ist ein Stuhl") schreiben willst, aber der Block voll ist, löscht OnlineSI nicht einfach alles. Er löscht stattdessen die alten, ungenauen Details und ersetzt sie durch die neuen, besseren Informationen.

    • Beispiel: Zuerst siehst du nur ein Bein eines Tisches und denkst: „Das ist ein Stuhl." Als du näher kommst und den ganzen Tisch siehst, korrigiert das System seinen Eintrag: „Nein, das ist ein Tisch." Der alte, falsche Eintrag wird überschrieben. Der Speicher bleibt immer gleich groß, aber die Qualität der Informationen wird besser.

  • Die 3D-Brille und das Sprachgenie:
    OnlineSI kombiniert zwei Dinge:

    1. Ein 3D-Scan: Es baut eine Art „Punktwolke" (eine digitale Skulptur aus Millionen kleiner Punkte) des Raumes auf.
    2. Ein Sprach-Verständnis: Es nutzt ein großes Sprachmodell (wie ein sehr gebildeter Assistent), das diese Punkte nicht nur sieht, sondern versteht. Es weiß: „Diese Punkte hier bilden eine Tischplatte, und diese da sind Beine."
      Durch diese Kombination kann das System Objekte nicht nur finden, sondern auch benennen und ihre genaue Position im Raum bestimmen.

3. Wie es lernt: Der ständige Update-Prozess

Stell dir vor, du läufst durch ein Haus.

  • Schritt 1: Du siehst etwas durch einen Türspalt. Das System sagt: „Da ist etwas Großes."
  • Schritt 2: Du trittst näher. Das System aktualisiert seine Karte: „Ah, es ist ein Sofa."
  • Schritt 3: Du gehst um das Sofa herum. Das System fügt Details hinzu: „Es ist ein rotes Sofa mit einem Kissen."

Das System verbessert seine Vorstellung vom Raum laufend, während du dich bewegst. Es muss nicht den ganzen Raum auf einmal sehen, um ihn zu verstehen. Es baut das Verständnis Stück für Stück auf.

4. Das neue Regelwerk: Der „Fuzzy"-Test

Wie bewertet man, ob so ein System gut ist? Normalerweise prüft man: „Hat das System das Objekt gefunden? Ja/Nein."
Aber in der echten Welt ist das schwierig. Wenn du nur ein Bein eines Stuhls siehst, sollte das System dann den ganzen Stuhl melden?

  • Das alte Problem: Wenn das System den Stuhl nicht meldet, weil es ihn nicht ganz sieht, gilt es als Fehler. Wenn es ihn meldet, aber falsch, ist es auch ein Fehler. Das ist ungerecht.
  • Die OnlineSI-Lösung: Die Forscher haben eine neue Art zu bewerten erfunden, den „Fuzzy F1-Score".
    • Vergleich: Stell dir vor, du bewertest einen Schüler.
      • Streng: Er muss den ganzen Stuhl sehen, um Punkte zu bekommen.
      • Nachsichtig: Er darf auch Teile des Stuhls sehen.
      • Fuzzy (Unschärfe): Das System bekommt Punkte, wenn es die Teile erkennt, die es sicher sehen kann. Für die Teile, die verdeckt sind, wird es nicht bestraft, wenn es sie nicht findet. Das macht die Bewertung fairer für Situationen, in denen man Dinge nur teilweise sieht.

Zusammenfassung

OnlineSI ist wie ein Roboter-Entdecker mit einem perfekten Gedächtnis, das aber clever genug ist, nicht zu platzen.

  1. Es baut eine 3D-Karte des Raumes auf.
  2. Es nutzt Sprach-KI, um zu verstehen, was diese Punkte sind.
  3. Es aktualisiert seine Karte ständig und verbessert alte Annahmen, wenn neue Informationen kommen.
  4. Es behält seinen Speicherplatz konstant, indem es alte, ungenaue Daten durch neue, genaue ersetzt.

Dieser Fortschritt ist ein großer Schritt hin zu Robotern, die wirklich in unserer Welt zurechtkommen, ohne sich zu verirren oder den Überblick zu verlieren.

Mehr davon