neuralCAD-Edit: An Expert Benchmark for Multimodal-Instructed 3D CAD Model Editing

1. O Problema

A geração de modelos CAD (Computer-Aided Design) 3D tem avançado rapidamente, mas a edição de modelos existentes permanece um desafio crítico e pouco explorado. A edição é uma parte fundamental do fluxo de trabalho de design, envolvendo refinamento de tolerâncias, correção de erros e adaptação a feedbacks.

O problema central identificado pelos autores é a limitação das abordagens atuais de IA, que dependem quase exclusivamente de condicionamento por texto. Engenheiros e designers profissionais, no entanto, comunicam instruções de edição de forma muito mais rica e natural: combinando fala, gestos, desenhos (rascunhos) e manipulação direta do modelo 3D em tempo real. A falta de um benchmark que capture essa complexidade multimodal impede o desenvolvimento de sistemas de IA capazes de entender a intenção do designer e executar edições geométricas precisas em modelos CAD reais (formato B-Rep).

2. Metodologia

O artigo apresenta o neuralCAD-Edit, o primeiro benchmark e conjunto de dados focado na edição de modelos CAD 3D baseado em solicitações de engenheiros especialistas.

• Coleta de Dados:

  • Participantes: 10 designers CAD profissionais (com 8 a 13 anos de experiência) foram recrutados.
  • Protocolo: Os designers interagiram com modelos CAD existentes no software Autodesk Fusion. Para cada modelo, eles realizaram três solicitações de edição independentes classificadas por dificuldade: Fácil (2 min), Médio (5 min) e Difícil (10 min).
  • Modalidades Capturadas: O sistema registrou simultaneamente:
    1. Vídeo: Gravação da tela (incluindo UI, mouse e desenhos).
    2. Áudio: Fala do designer.
    3. Interação: Eventos de seleção, comandos (ex: "extrudar", "chanfrar") e movimentos do mouse.
    4. Desenhos: Rascunhos feitos sobre o modelo (temporários ou estáticos).
  • Tipos de Solicitação: Foram definidas quatro combinações de modalidades: Texto (apenas digitação), Interativo (fala + gestos), Draw-temp (desenhos que desaparecem) e Draw-static (desenhos permanentes).
  • Ground Truth (Verdade Terrena): Para cada solicitação, duas edições foram realizadas: uma pelo próprio solicitante e outra por um outro especialista CAD (que viu apenas o vídeo/solicitação, mas não a edição original), criando uma linha de base humana robusta.

• Modelos Avaliados:

  • Foram testados modelos fundamentais (Foundation Models) de ponta: Google Gemini 3 Pro, OpenAI GPT-5.2 e Anthropic Claude Sonnet 4.5.
  • Harness de Execução: Os modelos de IA receberam o vídeo/áudio, transcrição e o arquivo CAD de entrada (.step). Eles foram instruídos a escrever e executar scripts Python usando a biblioteca CadQuery para modificar o modelo, inspecionar visualmente o resultado e iterar até completar a tarefa.

• Métricas de Avaliação:

  • Automáticas: Distância Chamfer, IoU de Voxel e similaridade DINOv2 em vistas renderizadas.
  • Humanas: 5 especialistas CAD avaliaram os resultados em uma escala de 1 a 7 baseados em: Seguimento de Instruções e Qualidade do Modelo. A métrica principal é a Taxa de Aceitação (fração de edições que atingem um padrão profissional aceitável).
  • VLM (Vision-Language Models): Avaliação automática feita por LLMs visuais para comparação com humanos.

3. Principais Contribuições

1. Primeiro Benchmark Multimodal para CAD: O neuralCAD-Edit é a primeira coleção de dados que captura instruções de edição de CAD contendo vídeo, fala, desenho e interação simultânea com o modelo, coletada diretamente de especialistas.
2. Análise de Comportamento Humano: O estudo demonstra que instruções multimodais transmitem mais informação em menos tempo do que o texto puro e levam a edições mais longas e complexas. Desenhos e gestos aumentam a precisão e a complexidade das tarefas solicitadas.
3. Benchmarking Rigoroso: Estabelece uma linha de base comparando modelos de IA contra humanos em tarefas reais de engenharia, revelando uma lacuna de desempenho significativa.
4. Dados Abertos e Ferramentas: Disponibilização do conjunto de dados (192 solicitações, 384 edições, 30k eventos logados) e do código para permitir o desenvolvimento futuro de métodos de edição 3D.

4. Resultados

Os resultados revelam uma lacuna de desempenho massiva entre os modelos de IA atuais e os especialistas humanos:

• Desempenho Geral: Mesmo o melhor modelo testado, o GPT-5.2, obteve uma taxa de aceitação humana 53% menor (em termos absolutos) do que a linha de base humana.
  • Humanos (Baseline): ~78% de aceitação.
  • GPT-5.2: ~25% de aceitação.
  • Gemini e Claude: Desempenho ainda inferior.
• Falhas Específicas:
  • Os modelos de IA falharam frequentemente em raciocínio visual composicional (ex: posicionar peças corretamente em relação a outras, entender hierarquia de montagem).
  • Em tarefas complexas, os modelos tendiam a abandonar a edição e tentar gerar o modelo do zero (falha em entender o modelo existente) ou produziam geometrias inválidas.
  • O GPT-5.2 foi o único a demonstrar capacidade de associar palavras a setas desenhadas dinamicamente e executar edições corretas em alguns casos, mas ainda com alta taxa de erro.
• Correlação de Métricas:
  • As métricas automáticas (como Chamfer Distance) não capturam bem a ambiguidade ou a qualidade semântica da edição.
  • Avaliações de VLMs (como o próprio GPT avaliando edições) superestimam a qualidade das edições de IA e não correlacionam bem com a avaliação humana, indicando que os VLMs atuais não são avaliadores confiáveis para tarefas de precisão de engenharia.
• Eficiência: Humanos são mais rápidos e produzem trabalho de maior qualidade. Os modelos de IA, especialmente os que falham, gastam muitos tokens e tempo de computação sem atingir o objetivo.

5. Significado e Impacto

O neuralCAD-Edit estabelece um novo padrão para a pesquisa em IA generativa e robótica de software:

• Além do Texto: Demonstra que para a IA ser integrada efetivamente nos fluxos de trabalho de engenharia, ela deve evoluir de interfaces baseadas apenas em texto para interfaces multimodais naturais (fala, gesto, desenho).
• Desafio para Modelos Fundamentais: O benchmark expõe limitações críticas nos modelos de ponta atuais em três capacidades fundamentais: compreensão multimodal, raciocínio 3D espacial e manipulação de geometria complexa (B-Rep).
• Direção Futura: O trabalho incentiva o desenvolvimento de modelos treinados especificamente para edição (não apenas geração), sistemas de colaboração Humano-AI e novas abordagens de avaliação que vão além da métrica de "output final", considerando o processo de edição.

Em resumo, o paper prova que, embora a geração de CAD esteja avançando, a edição assistida por IA baseada em instruções naturais ainda está em seus estágios iniciais, com uma barreira de entrada técnica significativa para atingir a competência de um engenheiro humano.