💻 computer science

MeshReGen: A Unified 3D Geometry Regeneration Framework

MeshReGen ist ein einheitliches, selbstüberwachtes Framework, das 3D-Objekte aus Ausgangsformen und Bildern unter Verwendung eines auf VecSet basierenden Konditionierungsmechanismus regeneriert, um State-of-the-Art-Leistung bei der kontrollierbaren 3D-Verbesserung, Rekonstruktion und Bearbeitung zu erzielen.

Ursprüngliche Autoren: Geon Yeong Park, Roman Shapovalov, Rakesh Ranjan, Jong Chul Ye, Andrea Vedaldi, Thu Nguyen-Phuoc

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Geon Yeong Park, Roman Shapovalov, Rakesh Ranjan, Jong Chul Ye, Andrea Vedaldi, Thu Nguyen-Phuoc

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine grobe, blockartige Tonplastik eines Autos. Sie hat die richtige Form und Größe, aber es fehlen die Kurven, der glänzende Lack, der filigrane Kühlergrill und die winzigen Details, die es realistisch aussehen lassen. Stellen Sie sich nun auch vor, Sie haben ein Foto eines echten Autos, das genau so aussieht wie das, das Sie bauen möchten.

MeshReGen ist wie ein magischer, überaus intelligenter Bildhauer, der Ihren groben Tonblock und Ihr Referenzfoto nimmt und den Ton sofort in eine perfekte, hochauflösende Replik verwandelt. Es rät nicht nur, wie das Auto aussehen sollte; es respektiert die grobe Form, die Sie ihm gegeben haben, und fügt gleichzeitig alle fehlenden Details hinzu, um mit Ihrem Foto übereinzustimmen.

So erklärt das Papier diese Technologie in einfachen Worten:

Das große Problem: „One-Shot" vs. „Verfeinerung"

Die meisten aktuellen KI-Tools zur Erstellung von 3D-Objekten arbeiten wie ein „One-Shot"-Künstler. Sie geben ihnen eine Textbeschreibung oder ein Bild, und sie versuchen, das gesamte Objekt von Grund auf neu zu erschaffen.

Das Problem: Wenn Sie einen bestimmten Teil eines Objekts korrigieren möchten oder wenn Sie bereits einen groben Entwurf haben (wie einen unscharfen Scan oder eine einfache Blockierung), ignorieren diese Tools Ihren Entwurf oft häufig und erschaffen etwas völlig anderes. Ihnen fehlt „Kontrolle".

Die Lösung: MeshReGen

Die Autoren haben MeshReGen entwickelt, ein System, das nicht von Grund auf neu beginnt. Stattdessen fungiert es als Regenerator. Es nimmt eine bestehende, qualitativ minderwertige 3D-Form (den „grob Entwurf") und ein 2D-Bild (das „Ziel") und verbessert den Entwurf zu einer hochwertigen, detaillierten Version.

Stellen Sie es sich wie Photoshop für 3D-Objekte vor, aber anstatt nur Pixel zu malen, baut es die eigentliche Geometrie neu auf.

Wie es funktioniert (Die magischen Tricks)

1. Der „universelle Übersetzer" (VecSet)
Das System verwendet eine spezielle Sprache namens VecSet, um über 3D-Formen zu sprechen.

Die Analogie: Stellen Sie sich vor, Sie haben eine grobe Skizze eines Hauses und einen detaillierten Bauplan. Normalerweise haben Computer Schwierigkeiten, eine Skizze mit einem Bauplan zu vergleichen, da sie in verschiedenen „Sprachen" geschrieben sind. MeshReGen übersetzt sowohl die grobe Skizze als auch die finale detaillierte Form in dieselbe Sprache (VecSet). Dies ermöglicht es der KI genau zu erkennen, wie die grobe Skizze verändert werden muss, um zur detaillierten Version zu werden.

2. Der „intelligente Diffusions"-Prozess
Das System verwendet eine Technik namens Diffusion, die wie das langsame Verwandeln eines verschwommenen, verrauschten Bildes in ein klares Bild wirkt.

Die Analogie: Stellen Sie sich vor, Sie haben ein schmutziges Fenster (die grobe 3D-Form). Sie möchten den Garten draußen klar sehen (die detaillierte Form). MeshReGen wischt das Fenster nicht einfach ab; es nutzt das Foto des Gartens, das Sie halten, um den Reinigungsprozess zu steuern. Es weiß genau, welche Teile des Schmutzes abgewischt werden müssen und welche neuen Details hinzugefügt werden müssen, während es den Fensterrahmen (die ursprüngliche Form) genau dort belässt, wo er war.

3. Lernen ohne Lehrer (Selbstüberwacht)
Normalerweise benötigen Sie, um eine KI dazu zu bringen, dies zu tun, Tausende von Paaren aus „Grobe Form + Perfekte Form", die von Menschen erstellt wurden. Das ist teuer und schwer zu beschaffen.

Die Analogie: Anstatt einen Lehrer zu engagieren, der der KI jedes Beispiel zeigt, haben die Forscher die KI dazu gebracht, sich selbst zu unterrichten. Sie nahmen eine riesige Bibliothek perfekter 3D-Objekte und „ruinierten" sie künstlich (machten sie unscharf, klumpig oder unvollständig), um die „grob Entwürfe" zu erstellen. Die KI lernte dann, wie man diese ruinierten Versionen zurück zu ihrer ursprünglichen Pracht repariert. Auf diese Weise lernte sie die Regeln der 3D-Geometrie, ohne menschliche Labels zu benötigen.

Was kann es?

Das Papier zeigt, dass dieser einzelne „Bildhauer" drei verschiedene Aufgaben bewältigen kann, alle mit demselben Gehirn:

3D-Verbesserung: Ein 3D-Modell mit niedriger Auflösung und blockartiger Struktur (wie eines aus einem alten Videospiel) nehmen und es modern und scharf aussehen lassen.
3D-Rekonstruktion:** Ein unordentlicher, unvollständiger 3D-Scan eines realen Objekts nehmen (wie ein Scan eines Stuhls, der ein Loch in der Rückseite hat, weil der Scanner es nicht sehen konnte) und die fehlenden Teile auffüllen, um einen perfekten, vollständigen Stuhl herzustellen.
3D-Bearbeitung: Ein 3D-Objekt nehmen und einen bestimmten Teil davon basierend auf einem neuen Foto ändern. Wenn Sie beispielsweise einen 3D-Hund haben und seine Ohren hängend machen möchten, können Sie der KI ein Foto von hängenden Ohren zeigen, und sie wird die Ohren des 3D-Hundes so umformen, dass sie passen, während der Rest des Hundes genau gleich bleibt.

Warum ist das besonders?

Das Papier behauptet, dass frühere Tools wie das Vorhandensein von drei verschiedenen Künstlern waren: einer zum Reparieren, einer zum Scannen und einer zum Bearbeiten. MeshReGen ist ein einheitliches Framework, was bedeutet, dass es ein einzelnes Tool ist, das alle drei Aufgaben gleichermaßen gut erledigen kann. Es erreicht dies, indem es versteht, dass es, egal ob Sie einen Scan reparieren, ein Modell bearbeiten oder eine Blockierung verbessern, die Kernaufgabe dieselbe ist: eine „Low-Information"-Form in eine „High-Information"-Form zu verwandeln.

Kurz gesagt ist MeshReGen ein vielseitiges Tool, mit dem Sie mit einer groben Idee oder einem unordentlichen Scan beginnen und es in ein 3D-Objekt von professionellem Niveau verwandeln können, geleitet von einem einfachen Bild, wobei Ihre ursprüngliche Struktur intakt bleibt.

Technische Zusammenfassung: MeshReGen: Ein einheitliches Framework zur 3D-Geometrie-Regenerierung

Problemstellung

Aktuelle 3D-generative Modelle arbeiten überwiegend im „One-Shot"-Modus und wandeln Texte oder einzelne Bilder in 3D-Objekte um. Obwohl diese Modelle für die Erstcreation effektiv sind, fehlt es ihnen oft an Kontrollierbarkeit, und sie haben Schwierigkeiten, sich in komplexe, mehrstufige Arbeitsabläufe von 3D-Künstlern zu integrieren. Die reale 3D-Erstellung umfasst häufig die Verfeinerung grober Geometrien, die Rekonstruktion von Objekten aus unvollständigen Scans (z. B. Photogrammetrie) oder die Bearbeitung spezifischer Bereiche eines bestehenden Mesh. Diese Aufgaben erfordern die Abbildung einer „Low-Information"-3D-Form ( $y_L$ ) – die grob, verrauscht, verzerrt oder teilweise sein kann – auf eine „High-Information"-3D-Form ( $x_H$ ).

Bestehende Ansätze adressieren diese spezifischen Fälle (Verbesserung, Rekonstruktion, Bearbeitung) mithilfe maßgeschneiderter, aufgaben spezifischer Architekturen. Darüber hinaus begrenzt die Knappheit an gepaarten Trainingsdatensätzen (Paare aus 3D-Formen niedriger und hoher Qualität) die Fähigkeit, allgemeine Regeneratoren zu trainieren. Die Arbeit identifiziert eine Lücke hinsichtlich einer einheitlichen Architektur und Lernformulierung, die diverse 3D-Regenerierungsaufgaben bewältigen kann, ohne aufgaben spezifische Designs oder teure manuelle Annotationen zu erfordern.

Methodik

Kernkonzept: 3D-Form-Regenerierung

Die Autoren definieren 3D-Regenerierung als das Sampling einer hochfideligen Form $x_H$ aus der Verteilung $p(x_H | y_L, I)$ , wobei $y_L$ eine auxiliary Low-Information-3D-Form ist (z. B. ein grobes Mesh, eine Punktwolke oder ein maskierter Bereich) und $I$ ein optionales 2D-Bild als Führung dient.

Modellarchitektur

MeshReGen basiert auf einem vortrainierten latenten Diffusionsmodell, das in einem kompakten 3D-latenten Raum unter Verwendung von VecSet [78] operiert.

Latente Repräsentation: Sowohl die Ziel-Form hoher Qualität ( $x_H$ ) als auch die konditionierende Form niedriger Qualität ( $y_L$ ) werden unter Verwendung desselben VecSet-Encoders in latente Vektoren ( $z_H$ und $z_L$ ) codiert. VecSet repräsentiert 3D-Formen als eine Menge von $K$ latenten Vektoren, die aus einer gesampelten Punktwolke abgeleitet sind.
Einheitlicher Konditionierungsmechanismus: Im Gegensatz zu früheren Arbeiten, die separate Cross-Attention-Pfade für die Konditionierung verwenden (was bei dichten Eingaben ineffizient sein kann), verketten MeshReGen die Konditionierungs-Token $z_L$ $z_{L}$ direkt mit den verrauschten Ziel-Token $z_H^t$ $z_{H}^{t}$ .
- Token-Vorverarbeitung: Um zu verhindern, dass das Modell durch die Einführung neuer Kontroll-Token „geschockt" wird, werden die Konditionierungs-Token $z_L$ durch ein Multi-Layer Perceptron (MLP) mit null-initialisierten Gewichten geleitet (ähnlich wie bei ControlNet). Zusätzlich werden Positional Embeddings zu $z_L$ hinzugefügt, um dem Modell zu helfen, deren räumliche Positionen zu unterscheiden.
- Diffusionsprozess: Ein Diffusion Transformer (DiT) entrauscht die verkettete Eingabe $z_H^t \oplus \text{MLP}(z_L + \text{PE})$ , konditioniert auf das Bild $I$ und den Zeitschritt $t$ .
Effizienz: Ein wesentlicher Vorteil von VecSet besteht darin, dass die Anzahl der Token $K$ je nach Formkomplexität angepasst werden kann. Grobe Eingaben ( $y_L$ ) können mit deutlich weniger Token ( $C \ll K$ ) als das Ziel codiert werden, was die Recheneffizienz aufgrund der quadratischen Komplexität der Self-Attention verbessert.

Datenkonstruktion (Selbstüberwachte Vorab-Aufgaben)

Um die Knappheit an gepaarten 3D-Daten zu überwinden, schlagen die Autoren automatische Data-Engineering-Pipelines vor, die generische 3D-Datensätze (z. B. Objaverse-ähnliche Sammlungen) ohne manuelle Annotation in Trainings-Triplets $(z_H, z_L, I)$ umwandeln. Die spezifischen Augmentierungsstrategien hängen von der Zielaufgabe ab:

Kompositionelle Verbesserung: Hochwertige Objekte werden in Gittern angeordnet und in einen einzigen latenten Raum codiert. Rauschen wird den Szenen-Token auf einem bestimmten Level $t^*$ hinzugefügt und dann wieder bis $t=0$ entrauscht. Die resultierende „degradierte" Szene wird decodiert, und einzelne Objekte werden als Low-Quality-Paare ( $y_L$ ) extrahiert, die den ursprünglichen High-Quality-Objekten ( $x_H$ ) entsprechen. Dies simuliert den Detailverlust, der bei der kompositionellen Generierung üblich ist.
Geführte Image-to-3D (Rekonstruktion): Ground-Truth-Objekte werden in 1–4 Ansichten gerendert. Diese Ansichten werden in ein Feed-Forward-Rekonstruktionsnetzwerk (VGGT) eingespeist, um spärliche, unvollständige Punktwolken ( $y_L$ ) zu erzeugen. Diese werden mit der Ground Truth abgeglichen, um Trainingspaare zu bilden.
3D-Form-Bearbeitung: Eine 3D-Maske wird auf ein Ground-Truth-Objekt angewendet, um einen Bereich zu entfernen. Die verbleibende Geometrie wird codiert, und der fehlende Bereich wird durch lernbare „Mask-Token" dargestellt, die im latenten Raum initialisiert sind. Das Führungs-Bild $I$ wird generiert, indem der maskierte Bereich einer gerenderten Ansicht unter Verwendung eines Text-to-2D-Modells inpainted wird.

Hauptbeiträge

Einheitliches Framework: MeshReGen führt eine einzelne Architektur ein, die 3D-Verbesserung, Rekonstruktion aus spärlichen Ansichten und 3D-Bearbeitung durchführen kann und damit Aufgaben vereinheitlicht, die zuvor von unterschiedlichen Modellen behandelt wurden.
Neuartiger Konditionierungsmechanismus: Die Arbeit schlägt eine einfache, aber effektive Verkettungsstrategie für 3D-Konditionierung im VecSet-latenten Raum vor, die Cross-Attention-Alternativen für dichte oder verrauschte Eingaben übertrifft.
Skalierbare Datenprotokolle: Die Autoren demonstrieren Protokolle zur automatischen Generierung aufgaben spezifischer gepaarter Trainingsdaten aus generischen 3D-Datensätzen durch selbstüberwachte Augmentierungen, wodurch die Notwendigkeit teurer manueller Paarung entfällt.
State-of-the-Art-Leistung: Das Framework erzielt überlegene Ergebnisse in der geometrischen Konsistenz und der Wiederherstellung feiner Details im Vergleich zu aufgaben spezifischen Baselines.

Ergebnisse und Evaluation

Die Autoren evaluieren MeshReGen über drei Hauptaufgaben:

Kompositionelle 3D-Verbesserung: Bei dekomponierten Szenenobjekten übertrifft MeshReGen die Baselines (einschließlich DetailGen3D) erheblich in der geometrischen Fidelity (ULIP-3D) und der perceptuellen Qualität (MV-ImageReward). Es stellt erfolgreich Details wieder her, die beim Generieren großer Szenen in einem Durchgang verloren gingen.
Geführte Image-to-3D (Rekonstruktion): Unter Verwendung des GSO-Datensatzes erreicht MeshReGen in Kombination mit VGGT (VGGT+MeshReGen) State-of-the-Art-Rekonstruktionsmetriken (CD, F-Score, IoU, PSNR). Es übertrifft bemerkenswert Single-View-Generatoren und entspricht oder übertrifft spezialisierte Multi-View-Modelle (wie TRELLIS und MeshLRM), selbst wenn weniger Eingabeansichten verwendet werden. Es füllt effektiv verdeckte Bereiche aus, während die sichtbare Geometrie erhalten bleibt.
3D-Form-Bearbeitung: Evaluiert auf dem Edit3D-Bench-Datensatz zeigt MeshReGen die Fähigkeit, spezifische 3D-Bereiche zu bearbeiten, während die Identität und globale Struktur des ursprünglichen Objekts erhalten bleibt. Es vermeidet die Artefakte und View-Inkonsistenzen, die bei 2D-zu-3D-Lifting-Methoden üblich sind.

Ablationsstudien:

Konditionierungsmechanismus: Die vorgeschlagene Token-Verkettung mit null-initialisierten MLPs übertrifft Designs mit separaten Cross-Attention-Blöcken (inspiriert von CLAY) oder erweiterter Cross-Attention (inspiriert von Hunyuan3D-Omni).
Diffusions-Parametrisierung: Die Standard-Diffusionsformulierung übertrifft Baselines mit rectified flow bei Rekonstruktionsaufgaben.
Generalisierung: Bestehende Generierungsframeworks (TRELLIS, Hunyuan3D-Omni) scheitern daran, sich ohne Feinabstimmung auf Regenerierungsaufgaben mit degradierten Eingaben zu generalisieren, was die Notwendigkeit der dedizierten Regenerierungsformulierung und -daten unterstreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MeshReGen einen bedeutenden Schritt hin zu einheitlichen, generalisierbaren und vielseitigen 3D-Regenerierungspriors darstellt. Indem gezeigt wird, dass eine einzelne Architektur durch einen einheitlichen Konditionierungsmechanismus und selbstüberwachte Datenkonstruktion diverse Downstream-Aufgaben (Verbesserung, Rekonstruktion, Bearbeitung) bewältigen kann, stellt die Arbeit den vorherrschenden Trend von aufgaben spezifischen 3D-Modellen in Frage.

Die Autoren betonen, dass ihr Ansatz eine explizite Kontrolle über die globale Geometrie (Pose, grobe Form) ermöglicht und gleichzeitig feine Details verbessert, wodurch die Lücke zwischen der Flexibilität generativer KI und der Präzision, die für professionelle 3D-Arbeitsabläufe erforderlich ist, geschlossen wird. Sie positionieren MeshReGen nicht nur als Generator, sondern als Werkzeug zur „Regenerierung", das bestehende 3D-Assets upgraden, reparieren und modifizieren kann, wodurch die Erstellung von 3D-Inhalten zugänglicher und effizienter wird.