Text-to-CAD Retrieval: a Strong Baseline

Resumen Técnico: Recuperación Texto-a-CAD: una Línea Base Fuerte

Definición del Problema
El artículo aborda el desafío crítico y poco explorado de recuperar modelos de Diseño Asistido por Computadora (CAD) heredados utilizando consultas en lenguaje natural. Los repositorios industriales tradicionales de CAD dependen de nombres de archivos, estructuras de directorios o la memoria manual para la búsqueda, lo que limita la escalabilidad y la precisión. Los autores formalizan la recuperación texto-a-CAD como una nueva tarea de recuperación multimodal. El objetivo es mapear descripciones textuales y modelos CAD en un espacio de incrustación compartido donde los pares semánticamente relevantes estén cercanos y los pares no coincidentes estén distantes. Un desafío principal identificado es representar los modelos CAD en un formato apto para el aprendizaje; si bien las secuencias procedimentales (comandos y parámetros) capturan la lógica de construcción, a menudo carecen de características geométricas explícitas cruciales para la coincidencia semántica.

Metodología
Los autores proponen un marco unificado que aprovecha representaciones multimodales de modelos CAD, combinando secuencias procedimentales y nubes de puntos geométricas. La arquitectura consta de tres codificadores y un decodificador auxiliar durante el entrenamiento:

1. Codificadores:

   • Codificador de Texto ($\phi_T$): Utiliza un tokenizador de lenguaje preentrenado (por ejemplo, CLIP o BERT) seguido de un codificador Transformer entrenable para generar representaciones semánticas.
   • Codificador de Secuencia ($\phi_S$): Una pila basada en Transformer que procesa secuencias ordenadas de primitivas geométricas 2D y comandos de modelado.
   • Codificador de Puntos ($\phi_P$): Adapta redes existentes basadas en puntos (por ejemplo, PointNet o PointTransformer) para extraer características geométricas explícitas de nubes de puntos muestreadas de entidades CAD.

2. Estrategia de Entrenamiento (Alineación Implícita):

   • Pérdida de Recuperación: El modelo emplea una pérdida bidireccional InfoNCE para supervisar los pares texto-secuencia y texto-puntos de forma independiente, alejando los pares no coincidentes en el espacio de incrustación.
   • Decodificador de Características ($\psi_S$): Un módulo auxiliar novedoso introducido exclusivamente para el entrenamiento. Reconstruye características de secuencia enmascaradas ($\hat{F}^S$) utilizando atención cruzada, donde la secuencia enmascarada actúa como consulta, y las características de texto y puntos sirven alternativamente como claves y valores. Esto obliga a los codificadores de texto y puntos a aprender representaciones que sean complementarias y alineadas con la modalidad de secuencia sin requerir un contraste explícito positivo-negativo entre las tres modalidades.
   • Función de Pérdida: El objetivo total combina la pérdida de recuperación y una pérdida de reconstrucción de Error Cuadrático Medio (MSE) ($\mathcal{L} = \mathcal{L}_{ret} + \lambda \mathcal{L}_{rec}$).

3. Inferencia:

   • El decodificador de características se descarta durante la inferencia.
   • La representación final de CAD se forma concatenando las características de secuencia y puntos agrupadas ($f^M = [f^S; f^P]$).
   • La característica de texto se duplica para coincidir con la dimensionalidad de la incrustación de CAD ($f^T = [f^T; f^T]$).
   • La recuperación se realiza calculando la similitud del coseno entre las características de CAD concatenadas y las características de texto duplicadas.

Contribuciones Clave

1. Formalización de la Tarea: El artículo introduce formalmente la recuperación texto-a-CAD como una tarea distinta de recuperación multimodal, estableciendo un punto de referencia práctico utilizando anotaciones emparejadas texto-CAD de conjuntos de datos de generación existentes (Text2CAD y CadTranslator).
2. Marco de Línea Base Fuerte: Los autores proponen un marco multimodal que aprende tanto de secuencias procedimentales como de nubes de puntos geométricas. Incorpora un decodificador de características novedoso para lograr una alineación multimodal implícita durante el entrenamiento, sirviendo como una línea base fuerte para el campo.
3. Validación Empírica: Los análisis cuantitativos demuestran la superioridad del enfoque sobre los modelos existentes de recuperación de formas 3D texto-a-3D. Los resultados cualitativos confirman la sensibilidad del método a descripciones geométricas específicas en las consultas de texto.

Resultados Experimentales
El modelo se evaluó en dos conjuntos de datos: Text2CAD y CadTranslator, ambos derivados del repositorio DeepCAD.

• Rendimiento: En el conjunto de datos Text2CAD, el método propuesto (IMMA) logró una precisión Rank-1 (R1) del 9.71%, una mejora significativa sobre el uso exclusivo de características de secuencia (5.00%) y superando a los métodos más avanzados como SCA3D (6.33%) y Parts2Words (4.81%). En CadTranslator, logró un R1 del 8.02%.
• Estudios de Ablación:
  • Fusión Multimodal: La combinación de características de secuencia y puntos superó significativamente a las variantes de modalidad única.
  • Decodificador de Características: La inclusión del decodificador de reconstrucción produjo ganancias sustanciales, particularmente en Text2CAD (mejorando el R1 del 6.99% al 9.71%).
  • Hiperparámetros: El modelo mostró robustez ante el peso de la pérdida de reconstrucción ($\lambda$) y la tasa de enmascaramiento ($r$), con un rendimiento óptimo observado en configuraciones específicas (por ejemplo, $r=0.5$ para Text2CAD).
• Comparación: El método propuesto superó a versiones adaptadas de modelos de recuperación texto-a-3D más avanzados (Parts2Words, TriCoLo, SCA3D, RoMa) y diversas estrategias de fusión multimodal (Concatenación y Lineal, Autoatención, Atención Cruzada, Modulación), lo que sugiere que la concatenación simple con alineación implícita es más efectiva que la fusión compleja para esta brecha de modalidad específica.

Significado
El artículo posiciona este trabajo como un paso fundamental para la reutilización de diseños heredados industriales, permitiendo a los ingenieros consultar repositorios de CAD a gran escala utilizando lenguaje natural. Además, los autores afirman que el marco sienta las bases para paradigmas de generación de CAD posteriores, específicamente la Generación Aumentada por Recuperación (RAG), al establecer un mecanismo confiable para recuperar modelos CAD semánticamente relevantes basados en texto. El código fuente está destinado a ser publicado para facilitar futuras investigaciones.