💻 computer science

Velocity-Space 3D Asset Editing

Die Arbeit stellt VS3D vor, ein trainingsfreies und maskenfreies Framework für die lokale Bearbeitung von 3D-Assets, das Identitätslecks und Signalinterferenzen in rektifizierten Flussgeneratoren durch gezielte Eingriffe im Geschwindigkeitsraum löst – insbesondere durch rekonstruktionsverankerte Quellinjektion, partielle Mittelwertführung und Twin-Consensus-Residualinjektion – direkt innerhalb des ODE-Samplers.

Ursprüngliche Autoren: Hao Liu, Yuxuan Lin, Jingfeng Guo, Ruihang Chu, Junjie Wang, Ruotong Li, Yujiu Yang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Liu, Yuxuan Lin, Jingfeng Guo, Ruihang Chu, Junjie Wang, Ruotong Li, Yujiu Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine digitale 3D-Statue, etwa ein Tonmodell eines Elchs. Sie möchten ihm einen neuen Hut geben, ohne seine Ohren, seine Nase oder die Textur seines Fells zu verändern. Dies ist das Ziel der lokalen 3D-Bearbeitung: einen spezifischen Teil zu ändern, während alles andere exakt gleich bleibt.

Die Arbeit stellt ein neues Werkzeug namens VS3D vor, das dies perfekt bewerkstelligt, ohne dass Sie manuell eine „Maske" (eine digitale Schablone) malen müssen, um dem Computer mitzuteilen, was zu berühren und was zu ignorieren ist. Es erfordert zudem kein erneutes Trainieren der KI.

Hier erläutern die Autoren das Problem und ihre Lösung unter Verwendung einfacher Analogien:

Das Problem: Der „undichte Schlauch"

Aktuelle KI-Tools zur 3D-Generierung funktionieren wie ein Schlauch, der Wasser (Geschwindigkeit) versprüht, um eine Form aufzubauen. Um die Form zu bearbeiten, versuchen sie, die Richtung des Wassers an einer Stelle zu ändern.

Die Autoren stellten jedoch drei Hauptprobleme fest, wie bestehende Tools dies zu bewerkstelligen versuchen:

Das „Überlaufen" (Identitätsleck): Wenn Sie versuchen, das Wasser in eine Richtung zu drücken, um einen Hut hinzuzufügen, tritt der Druck aus und sprüht versehentlich auch den Rest des Elchs an. Die Ohren des Elchs könnten wackeln oder sein Fell könnte die Farbe ändern, weil das „Bearbeitungssignal" nicht eingedämmt wurde.
Das „schwache Signal" (Keine Verstärkung): Um das Überlaufen zu stoppen, drehen die Leute den Wasserdruck normalerweise herunter. Doch wenn Sie ihn zu stark herunterdrehen, wird der Hut, den Sie hinzufügen möchten, schwach und undeutlich. Mit den aktuellen Methoden können Sie nicht gleichzeitig einen kräftigen Hut und einen ruhigen Elch haben.
Der „globale Zug" (Identitätsmitnahme): In den letzten Schritten beim Aufbau der Statue betrachtet die KI ein Bild des neuen Elchs (mit dem Hut) und versucht, die gesamte Statue so aussehen zu lassen wie dieses Bild. Dies „zieht" die unberührten Teile (wie die Beine des Elchs) von ihrem ursprünglichen Aussehen weg und verzerrt sie, um zum neuen Hut zu passen.

Bestehende Tools versuchen, dies zu beheben, indem sie externe „Masken" verwenden (der KI sagen: „rühr dies hier nicht an") oder indem sie Teile im Nachhinein zusammenfügen. Die Autoren sagen, dies sei wie der Versuch, einen undichten Schlauch zu reparieren, indem man Klebeband von außen darauf klebt, anstatt das Druckventil im Inneren zu reparieren.

Die Lösung: VS3D (Die „interne Reparatur")

VS3D behebt das Problem von innen heraus im Motor der KI (dem „ODE-Sampler"), indem es den Wasserdruck und die Richtung in drei spezifischen Phasen anpasst. Sie verwenden drei clevere Tricks:

1. RASI: Der „benutzerdefinierte Anker"

Die Analogie: Stellen Sie sich vor, die KI ist ein Boot, das im Ozean treibt. Wenn Sie es zu einem neuen Ziel steuern wollen (der Hut), zieht die Strömung normalerweise das ganze Boot vom Kurs ab.
Die Reparatur: RASI wirkt wie ein benutzerdefinierter Anker, der speziell für dieses Boot gesetzt wird. Er kalibriert den Motor so, dass dieser beim Steuern zum Hut genau weiß, wie er die Abdrift auf dem Rest des Bootes ausgleichen muss. Er stellt sicher, dass sich das „Wasser" nur dort bewegt, wo Sie es wollen, und verhindert das Überlaufen, ohne eine Maske zu benötigen.

2. PMG: Der „Signalverstärker"

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Flüstern (die Bearbeitung) in einem lauten Raum (dem zufälligen Rauschen der KI) zu hören. Wenn Sie einfach nur zuhören, könnten Sie das Flüstern überhören oder zu viel Rauschen hören.
Die Reparatur: PMG wirkt wie ein intelligenter Toningenieur. Es hört dem Flüstern zweimal zu: einmal mit viel Hintergrundrauschen und einmal mit weniger. Durch den Vergleich der beiden kann es genau herausfinden, was das „Flüstern" (der Hut) ist, und die Lautstärke nur auf diesen spezifischen Ton erhöhen. Wenn das Boot bereits stabil ist (keine Bearbeitung nötig), bleibt der Verstärker stumm. Dies macht die Bearbeitung stark, ohne den Rest zu stören.

3. TAR: Der „Doppelcheck"

Die Analogie: Nachdem das Boot gesteuert wurde, beginnt die Crew, die Details zu bemalen. Sie schauen sich ein Foto des neuen Bootes an und bemalen versehentlich die alten Teile falsch, weil sie zu sehr auf den neuen Hut fokussiert sind.
Die Reparatur: TAR führt eine parallele „Zwillings"-Simulation durch. Es fragt die KI: „Wenn wir exakt dieselbe Form gebaut hätten, aber das alte Foto verwendet hätten, würden die Beine dann anders aussehen?"
- Wenn die Beine in beiden Simulationen gleich aussehen, weiß die KI: „Ah, diese Beine benötigen keinen Einfluss des neuen Hutes." Es zieht die Textur dann sanft zurück zum ursprünglichen Aussehen.
- Wenn die Beine unterschiedlich aussehen, weiß es: „Dies ist Teil der Bearbeitung", und lässt es in Ruhe.
  Dies stellt sicher, dass Fell und Farben an den unberührten Teilen dem Original treu bleiben.

Das Ergebnis

Durch die Kombination dieser drei internen Reparaturen kann VS3D ein 3D-Asset nehmen, einen Hut hinzufügen, einen Schwanz entfernen oder eine Farbe ändern, und der Rest des Objekts bleibt perfekt in der Zeit eingefroren.

Keine Masken: Sie müssen keinen Kreis um den Teil ziehen, den Sie ändern möchten.
Kein erneutes Training: Es funktioniert mit der KI genau so, wie sie ursprünglich gebaut wurde.
Hohe Qualität: Die Autoren testeten es an vielen Objekten und stellten fest, dass es das ursprüngliche Aussehen viel besser bewahrt als andere Methoden, selbst bei komplexen Änderungen wie dem gleichzeitigen Hinzufügen und Entfernen von Dingen.

Kurz gesagt ist VS3D wie ein Meisterbildhauer, der genau weiß, wie er eine neue Eigenschaft in eine Statue meißelt, ohne versehentlich die Teile abzuklopfen, die er behalten wollte, und dies alles durch die Anpassung seiner internen Technik, anstatt externen Klebeband oder Kleber zu verwenden.

Technische Zusammenfassung: VS3D (Velocity-Space 3D Asset Editing)

1. Problemstellung

Die präzise lokale Bearbeitung von 3D-Assets – das Modifizieren eines spezifischen Bereichs unter strikter Bewahrung des Rests – stellt eine fundamentale Herausforderung für native 3D-Generatoren dar. Bestehende Ansätze verlassen sich typischerweise auf Mechanismen, die außerhalb des generativen Modells liegen, wie manuelle 3D-Masken, nachträgliche Voxel-Merging oder das Anheben von 2D-Multiview-Daten. Diese Methoden versagen darin, die Ursache des Identitätsverlusts zu adressieren: das Verhalten des Geschwindigkeitsfeldes innerhalb des Rectified-Flow-Ordinary-Differential-Equation (ODE)-Samplers.

Bei der Verwendung eines eingefrorenen Rectified-Flow-DiT (Diffusion Transformer) für die Bearbeitung muss das Geschwindigkeitsfeld gleichzeitig ein starkes Bearbeitungssignal im Zielbereich tragen und auf bewahrten Inhalten verschwinden. Ein einzelnes Geschwindigkeitsfeld kann jedoch diese widersprüchlichen Anforderungen kaum erfüllen, was zu drei spezifischen Fehlermodi führt:

Identitätsleckage: Selbst wenn die Bedingungen lokal übereinstimmen, bleibt die Geschwindigkeitsdifferenz ( $v_\Delta$ ) auf bewahrten Regionen aufgrund von Asymmetrien bei der Classifier-Free Guidance (CFG) und durch Aufmerksamkeit vermittelten Residuen aus globalen Bild-Embeddings ungleich null.
Fehlende Verstärkung des Bearbeitungssignals: Die Verstärkung des Bearbeitungssignals stört oft unbeabsichtigt die Identität bewahrter Regionen, da beide Aufgaben um dieselben Freiheitsgrade innerhalb des Geschwindigkeitsfeldes konkurrieren. Darüber hinaus wird die Monte-Carlo-Schätzung der Geschwindigkeitsdifferenz in 3D eher von Varianz als von einem konsistenten Signal dominiert.
Globale Bedingungs-Überschreibung: In den Phasen der Geometrie- und Materialverfeinerung zieht ein einzelnes globales Bild-Feature-Token jedes Token in Richtung des Zielaussehens, überschreibt die Quellidentität und verursacht Texturdrift oder geometrische Verzerrungen.

Aktuelle Lösungen outsourcen die Identitätserhaltung an externe Tools, anstatt direkt innerhalb des ODE-Samplers einzugreifen, wo die Korruption entsteht.

2. Methodik: VS3D

Die Autoren schlagen VS3D vor, ein invertierungsfreies, trainingsfreies und maskenfreies Framework, das diese Probleme durch gezielte Eingriffe innerhalb des ODE-Samplers adressiert. Die Methode arbeitet mit einem nativen 3D-Generator (speziell TRELLIS 2.0), der in drei Phasen abläuft: Generierung einer spärlichen Struktur, Geometriegenerierung und Materialgenerierung.

VS3D integriert drei komplementäre Module, die spezifischen Phasen der Pipeline entsprechen:

A. Rekonstruktions-verankerte Quell-Injektion (RASI)

Ziel: Phase 1 (Dichtes Occupancy-Latent)
RASI adressiert die Zwei-Kanal-Identitätsleckage (CFG-Asymmetrie und globale Bedingungs-Residuen).

Mechanismus: Anstatt eines festen unbedingten Embeddings ( $\phi_0$ ) zu verwenden, optimiert RASI ein schrittweises, assetspezifisches unbedingtes Embedding ( $\phi_t$ ) über eine Quell-Rekonstruktions-Sonde.
Prozess: Zu jedem Zeitschritt löst die Methode ein Optimierungsproblem, um ein $\phi_t$ zu finden, das bei Verwendung in der Geschwindigkeitsberechnung den Euler-Schritt zwingt, das Quell-Latent ( $x_{src}$ ) exakt wiederherzustellen, wenn die Zielbedingung durch die Quellbedingung ersetzt wird.
Wirkung: Dies „verankert" die Quell-Trajektorie. Während der eigentlichen Bearbeitung absorbiert das zwischengespeicherte $\phi_t$ die Leckage-Kanäle, wodurch $v_\Delta$ auf nicht bearbeiteten Voxeln gegen null kollabiert, ohne dass eine externe Maske erforderlich ist.

B. Partial-Mean Guidance (PMG)

Ziel: Phase 1 (Verstärkung des Bearbeitungssignals)
PMG löst den Konflikt zwischen Identitätserhaltung und Verstärkung des Bearbeitungssignals.

Mechanismus: Es nutzt die Monte-Carlo-Struktur der Schätzung der Geschwindigkeitsdifferenz. Die Methode berechnet eine hochwertige Mittelwertschätzung ( $\hat{\mu}_S$ ) und eine verrauschtere Partial-Sample-Mittelwertschätzung ( $\hat{\mu}_L$ ) der Geschwindigkeitsdifferenz.
Prozess: Es extrapoliert weg von der verrauschteren Schätzung: $\hat{\mu}_{final} = \hat{\mu}_S + w(\hat{\mu}_S - \hat{\mu}_L)$ .
Wirkung: Diese Verstärkung wird automatisch durch das Geschwindigkeitsfeld selbst gesteuert. Auf nicht bearbeiteten Regionen, wo RASI das Signal auf null getrieben hat, ist die Extrapolation vernachlässigbar. Auf bearbeiteten Regionen, wo ein konsistentes Signal existiert, verstärkt die Verstärkung die Bearbeitungsrichtung, ohne zusätzliche Vorwärtsdurchläufe oder Masken zu erfordern.

C. Twin-Agreement Residual Injection (TAR)

Ziel: Phasen 2 & 3 (Spärliche Geometrie und Material)
TAR verhindert, dass die globale Bedingung die Quellidentität in den spärlichen Verfeinerungsphasen überschreibt, wo eine direkte ODE-Kopplung aufgrund nicht übereinstimmender Voxel-Unterstützungen unmöglich ist.

Mechanismus: Der Sampler führt einen „Zwilling"-Vorwärtsdurchlauf auf demselben Koordinatengerüst und demselben Rauschen durch, jedoch konditioniert auf das Quell-Bild ( $c_{src}$ ) statt auf das Ziel.
Prozess: Es berechnet eine pro-Token-Unstimmigkeitskarte ( $d_i$ ) zwischen der Ziel-Ausgabe ( $z_{tgt}$ ) und der Zwilling-Quell-Ausgabe ( $z_{twin}$ ). Tokens mit geringer Unstimmigkeit (hoher Übereinstimmung) werden als nicht bearbeitet identifiziert.
Wirkung: Für übereinstimmende Tokens injiziert die Methode ein Residuum aus der Quellkodierung ( $z_{src}$ ) zurück in das Ziel-Latent, was Geometrie und Material effektiv zurück zur Quelle zieht. Nicht übereinstimmende Tokens (der Bearbeitungsbereich) bleiben unberührt. Dies ermöglicht dem Sampler, tokenweise zu entscheiden, was zu bewahren ist.

3. Hauptbeiträge

RASI: Eine Methode zur Eliminierung der Zwei-Kanal-Identitätsleckage (CFG-Asymmetrie und Aufmerksamkeitsresiduen) durch Optimierung eines schrittweisen unbedingten Embeddings, wodurch sichergestellt wird, dass $v_\Delta$ auf nicht bearbeiteten Regionen ohne externe Masken verschwindet.
PMG: Eine Technik zur Entkopplung der Bearbeitungsverstärkung von der Identitätserhaltung durch Extrapolation zwischen Teil-Stichproben-Mittelwerten der Geschwindigkeitsdifferenz, die die Verstärkung automatisch auf Regionen mit konsistenten Bearbeitungssignalen begrenzt.
TAR: Ein Mechanismus zur Unterdrückung des globalen Identitätsdrags in spärlichen Phasen durch Verwendung einer Zwilling-Vorwärts-Unstimmigkeitskarte, um Quellresiduen nur dort einzuspeisen, wo der Sampler zustimmt, dass Inhalte bewahrt werden sollen.
VS3D-Framework: Ein einheitliches, rein im Geschwindigkeitsraum operierendes Bearbeitungsparadigma, das hochfidelitätige lokale Bearbeitungen mit starker Identitätserhaltung ohne Inversion, Training oder manuelle Maskierung erreicht.

4. Experimentelle Ergebnisse

Die Autoren bewerteten VS3D auf einem aus Objaverse abgeleiteten Benchmark und verglichen es mit state-of-the-art nativen 3D-Editoren (TRELLIS 2.0, VoxHammer, Nano3D) und 2D-angehobenen Editoren (Instant3dit, Edit360, VecSet-Edit).

Quantitative Leistung: VS3D erzielte die besten Ergebnisse bei den meisten Metriken, einschließlich des höchsten PSNR (22,51), SSIM (0,867) und des niedrigsten LPIPS (0,145), was eine überlegene Identitätserhaltung anzeigt. Es erzielte zudem die höchsten DINO-I (0,841) und CLIP-T (0,294) Werte und demonstrierte damit eine hohe Bearbeitungstreue.
Qualitative Leistung: Die Methode bewältigte erfolgreich elementare Operationen (Hinzufügen/Entfernen) und zusammengesetzte Bearbeitungen (gleichzeitiges Hinzufügen/Entfernen), bei denen Baselines versagten. Sie bewahrte strukturelle Kohärenz und Texturkonsistenz in nicht bearbeiteten Regionen und vermied Nahtartefakte und Topologieinkonsistenzen, die bei 2D-angehobenen Ansätzen üblich sind.
Ablationsstudien: Die Studie bestätigte, dass jedes Modul einen spezifischen Fehlermodus adressiert: RASI korrigierte Occupancy-Drift, PMG stellte die Bearbeitungsstärke wieder her, und TAR gewann feinkörnige Material- und Texturdetails in späteren Phasen zurück.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass VS3D zeigt, dass ein rein im Geschwindigkeitsraum operierender Ansatz als universelles Bearbeitungsparadigma für vortrainierte 3D-Generatoren dienen kann. Durch direkte Eingriffe innerhalb des ODE-Samplers erreicht die Methode hochfidelitätige lokale Bearbeitung ohne die Notwendigkeit von:

Externen 3D-Masken (die mühsam und spröde sind).
Modell-Inversion (die rechenintensiv und instabil ist).
Zusätzlichem Training oder Feinabstimmung (LoRA).

Die Autoren räumen eine Einschränkung ein: Da keine harte Maske die Bearbeitungsgrenze isoliert, ist die pixelgenaue Texturkonsistenz in nicht bearbeiteten Regionen „nahe an, aber nicht identisch mit" dem Original. Sie argumentieren jedoch, dass dies ein inhärentes Merkmal maskenfreier Methoden ist und dass der wahrgenommene Unterschied gering und für praktische Szenarien akzeptabel ist. Die Arbeit legt nahe, dass die Kontrolle des Geschwindigkeitsfeldes von innen heraus der direkteste Weg zu gleichzeitiger Identitätserhaltung und Bearbeitungsverstärkung ist und eine neue Perspektive für zukünftige Forschung zur maskenfreien 3D-Bearbeitung bietet.