Resumo Técnico: UniCAD

Declaração do Problema

O Desenho Auxiliado por Computador (CAD) é fundamental para a engenharia moderna, mas a pesquisa atual está fragmentada. As abordagens existentes tipicamente estudam tarefas de forma isolada (por exemplo, reconstrução a partir de nuvens de pontos, geração a partir de texto ou perguntas e respostas) e dependem de modalidades de entrada únicas. Essa abordagem em silos impede a transferência de conhecimento entre tarefas e falha em refletir cenários de design do mundo real, onde os usuários fornecem entradas mistas (esboços, descrições, varreduras). Além disso, o campo carece de um benchmark unificado e de grande escala que padronize a avaliação em diversas modalidades e tarefas, dificultando a comparação justa e o desenvolvimento de modelos robustos e generalizáveis.

Metodologia

1. O Benchmark UniCAD

Para abordar a falta de um padrão de avaliação unificado, os autores introduzem o UniCAD, um conjunto de dados e benchmark abrangente.

• Composição dos Dados: O conjunto de dados contém 1.448.150 modelos CAD, integrando quatro modalidades de entrada: descrições de texto, imagens multi-visão, esboços feitos à mão e nuvens de pontos.
• Representação: Ao contrário de trabalhos anteriores que utilizam B-rep ou sequências de comandos, o UniCAD converte todos os designs em scripts Python executáveis do CadQuery. Esta escolha garante que os resultados sejam interpretáveis, editáveis e programaticamente verificáveis.
• Pipeline de Geração de Dados:
  • Fonte: Construído com base no DeepCAD, Text2CAD e CAD-Recode.
  • Conversão: Um script Python determinístico e baseado em regras converte operações de modelagem JSON em código CadQuery, alcançando 100% de sucesso na execução (ao contrário da conversão baseada em LLM, que sofre com alucinações).
  • Alinhamento Multimodal:
    • Nuvens de Pontos: Geradas por amostragem uniforme das superfícies da malha CAD com vetores normais.
    • Imagens: Renderizações sintéticas multi-visão a partir de oito perspectivas fixas.
    • Esboços: Gerados usando o modelo Qwen-Image-Edit para criar arte de linha com estilo de desenho à mão realista a partir das renderizações.
    • QA (Perguntas e Respostas): Um pipeline semi-automático usando GPT-4o gera perguntas de múltipla escolha de 4 vias fundamentadas em geometria visual e lógica de programa, verificadas por anotadores humanos (>92% de concordância).
• Tarefas Suportadas: O benchmark avalia quatro tarefas distintas: Ponto-para-CAD, Texto-para-CAD, Imagem/Esboço-para-CAD e Perguntas e Respostas (QA) de CAD.

2. O Modelo UniCAD-MLLM

Os autores propõem o UniCAD-MLLM, um modelo de linguagem de grande escala multimodal universal, projetado para lidar com essas tarefas heterogêneas dentro de um único framework.

• Arquitetura: Baseado no Qwen2-VL-2B, estendido com um módulo de projeção de nuvem de pontos leve e treinável.
• Processamento de Entrada:
  • Texto: Processado via tokenizadores nativos.
  • Imagens: Codificadas usando o codificador visual pré-treinado.
  • Nuvens de Pontos: Processadas via um codificador dedicado envolvendo Amostragem de Ponto Mais Distante (FPS), codificação posicional de Fourier e uma camada de projeção linear para mapear as coordenadas 3D para a dimensão oculta do modelo.
• Prompting Unificado: O modelo trata as modalidades como módulos de tokens opcionais. Entradas ausentes são substituídas por instruções genéricas, permitindo o raciocínio flexível mesmo com dados incompletos.
• Geração de Saída:
  • Geração/Reconstrução: O modelo gera autoregressivamente scripts Python executáveis do CadQuery.
  • QA: O modelo raciocina sobre o prompt e o programa CAD existente para gerar respostas textuais.
• Treinamento: O modelo é treinado conjuntamente em todas as tarefas usando perda de entropia cruzada (cross-entropy loss), realizando o ajuste fino (fine-tuning) do modelo de linguagem e treinando o módulo de projeção de pontos do zero.

Principais Contribuições

1. Benchmark UniCAD: O primeiro benchmark de grande escala e unificado para aprendizado de CAD multimodal e multitarefa, fornecendo divisões de dados padronizadas e protocolos de avaliação para entradas de texto, imagem, esboço e nuvem de pontos em tarefas de geração e compreensão.
2. UniCAD-MLLM: Um único modelo de ponta a ponta que unifica a geração e a compreensão de CAD em um espaço latente geométrico-semântico compartilhado, capaz de processar modalidades mistas e gerar código executável.
3. Validação Empírica: Demonstração de que o aprendizado conjunto multimodal e multitarefa supera consistentemente as bases especializadas de tarefa única, validando a escalabilidade da modelagem de CAD unificada.

Resultados Experimentais

O modelo foi avaliado no conjunto de teste UniCAD e no benchmark externo Fusion360 utilizando Distância de Chamfer (CD) e Interseção sobre União Volumétrica (IoU).

• Desempenho UniCAD: O UniCAD-MLLM alcançou o estado da arte em todas as modalidades.
  • Ponto-para-CAD: CD 0.17, IoU 89.7%.
  • Texto-para-CAD: CD 0.20, IoU 86.3%.
  • Imagem/Esboço-para-CAD: CD 0.17–0.22, IoU de até 89.8%.
  • QA de CAD: Alcançou 90.0% de precisão, superando significativamente VLMs de propósito geral como GPT-4o (77%) e Doubao-Seed-1.6 (85%).
• Reconstrução de Visão Única: Mesmo quando testado em imagens de visão única (uma tarefa mais difícil), o modelo superou as bases especializadas de apenas imagem (CD 0.17 vs. 0.21 para Cadrille), demonstrando uma conclusão de forma robusta.
• Generalização Zero-Shot: No dataset Fusion360, o UniCAD-MLLM superou os métodos existentes tanto em reconstrução de nuvem de pontos (IoU 84.3% vs. 79.1%) quanto em reconstrução de imagem multi-visão (IoU 83.9% vs. 62.5% para um pipeline híbrido LRM+CAD-Recode).
• Fusão Multimodal: O condicionamento em texto e esboços resultou nos melhores resultados (CD 0.18, IoU 88.6%), provando que sinais cross-modais se complementam para reduzir erros de reconstrução.

Significância e Alegações

O artigo afirma que o UniCAD estabelece uma base sólida para a inteligência CAD de propósito geral. Ao unir a percepção multimodal com a geração de design executável, o trabalho demonstra que um framework unificado pode aprender representações geométricas e semânticas compartilhadas de forma mais eficaz do que modelos isolados e específicos para tarefas.

Os autores enfatizam que o uso de scripts Python executáveis (CadQuery) como representação de saída é crítico, pois permite interpretação humana direta, validação programática e integração em cadeias de ferramentas industriais. Embora o conjunto de dados atual seja limitado principalmente a operações de esboço e extrusão, os autores argumentam que esta abordagem unificada pavimenta o caminho para pesquisas futuras em operações geométricas mais complexas e cenários de design interativo. O lançamento do conjunto de dados, código e modelos pré-treinados tem como objetivo acelerar o desenvolvimento de sistemas robustos de assistência em CAD.