Resumen Técnico: AC3S – Acondicionamiento Adaptativo para la Generación de Datos Sintéticos con Conciencia 3D

Planteamiento del Problema

La generación de datos sintéticos se ha convertido en una herramienta crítica para escalar conjuntos de datos de visión computacional, con los modelos de difusión ofreciendo un fotorrealismo sin precedentes. Sin embargo, persiste un cuello de botella significativo: imponer una consistencia estructural y de pose 3D precisa sin sacrificar el realismo de la imagen. Los enfoques existentes, como 3D-DST, utilizan ControlNet con prompts visuales (por ejemplo, mapas de bordes derivados de renders CAD) para guiar a los modelos de difusión. Aunque son efectivos para el alineamiento geométrico, estos métodos suelen sufrir de sobreacondicionamiento (over-conditioning). Esto se manifiesta en fondos desenfocados, texturas de objetos simplificadas y escenas incoherentes, ya que el fuerte acondicionamiento visual suprime la expresividad generativa del modelo de difusión preentrenado. Además, generar prompts de texto semánticamente consistentes que se alineen con estas restricciones geométricas sigue siendo un desafío; los prompts basados en plantillas carecen de detalle, mientras que las descripciones de imágenes reales suelen entrar en conflicto con los prompts visuales sintéticos.

Metodología

Los autores proponen AC3S, un marco basado en difusión diseñado para equilibrar el alineamiento estructural 3D con el fotorrealismo a través de dos componentes adaptativos principales: un Modulador de Prompts Visuales y un Generador de Prompts de Modelo de Lenguaje de Visión (VLM) Multi-Agente.

1. Extracción de Prompts Visuales

Siguiendo a 3D-DST, el flujo de trabajo renderiza modelos CAD 3D (obtenidos de ShapeNet, Objaverse y OmniObject3D) utilizando parámetros de cámara aleatorios para generar $I_{render}$. Un detector de bordes Canny extrae un mapa de bordes disperso ($I_{prompt}$) para servir como entrada visual para ControlNet.

2. Modulador de Prompts Visuales Adaptativo

Para abordar el sobreacondicionamiento, los autores introducen un modulador autosupervisado que ajusta dinámicamente la fuerza del acondicionamiento de ControlNet.

• Mecanismo: En lugar de inyectar directamente las características de ControlNet ($\mathcal{F}(I_{prompt}; \theta)$) en el U-Net del modelo de difusión, el sistema predice una escala de acondicionamiento $\lambda$. La inyección de características final se calcula como $\hat{f} = f + \lambda \cdot \mathcal{F}(I_{prompt}; \theta)$.
• Estrategia de Entrenamiento: El modulador es un MLP ligero de tres capas entrenado mediante autosupervisión. Los autores observan que los valores de $\lambda$ por debajo de un cierto umbral no logran imponer la estructura 3D, mientras que los valores por encima de un umbral imponen la estructura pero degradan la calidad de la imagen. Definen el $\lambda$ "óptimo" como el valor más pequeño que logra el alineamiento estructural (análogo a la "Diferencia Justamente Perceptible" o JND).
• Etiquetado Pseudo (Pseudo-Labeling): Para entrenar el modulador sin anotación humana, el sistema genera una secuencia de imágenes a través de un barrido de valores de $\lambda$ (de 0.3 a 1.0). Estas imágenes se agrupan mediante k-means (k=2) basados en características a nivel de píxel para distinguir entre distribuciones "desalineadas" y "alineadas". El $\lambda$ más pequeño dentro del clúster "alineado" sirve como la etiqueta pseudo para el entrenamiento.

3. Generador de Prompts de Texto VLM Multi-Agente

Para asegurar la consistencia semántica entre el texto y los prompts visuales, los autores emplean un marco multi-agente utilizando Qwen3-VL-23B-Instruct. Siete agentes especializados colaboran para construir los prompts:

• Identificador de Sujeto: Determina la etiqueta del sujeto mediante la referencia cruzada del render con una referencia real de ImageNet.
• Selector de Género: Asigna un género de fotografía (por ejemplo, vida silvestre, macro).
• Extractor de Pose: Infiere la pose de la cámara y del sujeto a partir del render para asegurar el alineamiento de la perspectiva.
• Compositor de Escena: Extrae atributos visuales (color, textura, fondo) de la imagen de referencia.
• Sintetizadores de Prompts: Los agentes 5, 6 y 7 ensamblan el prompt positivo, identifican términos protegidos para evitar en los prompts negativos y construyen el prompt negativo, respectivamente.
  Este flujo de trabajo garantiza que la guía textual apoye, en lugar de entrar en conflicto con, las restricciones geométricas impuestas por el prompt visual.

4. Filtrado de Datasets

Para asegurar datos de alta calidad, el flujo de trabajo filtra las muestras utilizando DreamSim, una métrica de similitud perceptual. Las imágenes sintéticas se comparan con sus renders correspondientes (convertidos a escala de grises para asegurar la invarianza de color) para clasificar y seleccionar las mejores muestras basadas en el alineamiento de pose y semántica.

Contribuciones Clave

1. Modulador de Prompts Visuales: Una estrategia autosupervisada para atenuar dinámicamente las salidas de ControlNet, evitando el sobreacondicionamiento y preservando el prior generativo de los modelos de difusión.
2. Marco VLM Multi-Agente: Un sistema novedoso para sintetizar prompts de texto detallados y conscientes de la estructura 3D que se mantienen semánticamente consistentes con los controles geométricos visuales.
3. Dataset Sintético Completo (AC3S): Un conjunto de datos de un millón de imágenes distribuidas en 1,000 categorías de ImageNet, completo con anotaciones 2D y 3D (pose, etiquetas de clasificación y metadatos).

Resultados Experimentales

Los autores realizaron experimentos extensos para validar la calidad y utilidad de AC3S:

• Calidad de Imagen: En un estudio de ablación comparando 1,000 imágenes sintéticas por clase contra ImageNet, el flujo de trabajo completo de AC3S logró una puntuación de Distancia de Frechet Inception (FID) de 71.24, una mejora significativa de 15.95 puntos sobre la línea base de 3D-DST (87.19). El modulador y el generador de texto contribuyeron con 9.66 y 8.26 puntos de mejora, respectivamente.
• Utilidad de Clasificación: El preentrenamiento de modelos (ResNet-18, Swin-S, ConvNeXt-S) en datos de AC3S antes del ajuste fino (fine-tuning) en ImageNet produjo la mayor precisión top-1 en todas las arquitecturas. Notablemente, ConvNeXt-S y Swin-S experimentaron una mejora del 2.6% sobre la línea base, mientras que ResNet-18 mejoró un 0.99%.
• Estimación de Pose: Al preentrenar en AC3S y realizar el ajuste fino en PASCAL3D+, el método superó a 3D-DST. Para la categoría "sofá", AC3S proporcionó una ganancia del 7.39% en la precisión en el umbral de error de $\pi/18$ en comparación con la línea base.
• Desempeño Zero-Shot: El entrenamiento estrictamente con datos sintéticos (sin ajuste fino con datos reales) mostró que AC3S produce modelos con un desempeño significativamente mejor que aquellos entrenados con datos de 3D-DST, lo que sugiere un ajuste de distribución más cercano a los datos del mundo real.

Significado

El artículo afirma que AC3S proporciona una solución escalable al compromiso entre el control geométrico y el fotorrealismo en la generación de datos sintéticos. Al introducir el acondicionamiento adaptativo, el marco permite la creación de conjuntos de datos de alta calidad con anotaciones 2D y 3D precisas. Los autores sostienen que este enfoque no solo mejora la fidelidad de las imágenes generadas, sino que también potencia la utilidad de los datos sintéticos para tareas de visión computacional 2D y 3D, reduciendo potencialmente la dependencia de la costosa recolección de datos del mundo real. Este trabajo cuenta con el apoyo de subvenciones de la National AI Research Resource, AMD, NVIDIA y Lambda, destacando su relevancia para la comunidad de investigación de IA en general.