Resumo Técnico: Benchmark MUSE para Geração de CAD a partir de Texto

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado a geração 3D orientada por texto, a tarefa específica de Texto para CAD (gerar modelos editáveis de representação de fronteira (B-Rep) a partir de linguagem natural) permanece insuficiente para o design de produtos industriais. Benchmarks existentes focam principalmente em modelos de CAD de peça única e dependem de métricas de similaridade geométrica (por exemplo, Distância de Chamfer). Essas métricas falham em capturar requisitos críticos de engenharia: funcionalidade, fabricabilidade e capacidade de montagem. Consequentemente, as avaliações atuais não podem determinar se um modelo gerado é uma instância de design viável ou meramente uma forma visualmente plausível. Além disso, conjuntos de dados existentes frequentemente carecem de estruturas multicomponente e restrições de montagem, limitando sua utilidade para fabricação do mundo real.

Metodologia

O Benchmark MUSE

Os autores introduzem o MUSE, um benchmark projetado para avaliar a geração de montagens B-Rep complexas e editáveis. Diferentemente de trabalhos anteriores, o MUSE foca em instâncias de design completas definidas por Especificações de Design estruturadas ($S$). Cada especificação decompõe um objetivo de alto nível em quatro componentes:

1. Descrição do Design ($D$): Texto de alto nível descrevendo o objeto.
2. Grafo de Montagem Física ($G$): Um grafo não direcionado onde os vértices representam componentes físicos (por exemplo, pernas, painéis) e as arestas representam interfaces físicas.
3. Espaço de Parâmetros Válido ($\Omega$): Intervalos admissíveis para parâmetros de componentes (dimensões, espessura) restringidos por requisitos funcionais e de fabricação.
4. Plano de Fabricação ($M$): Restrições relacionadas à seleção de materiais (por exemplo, Madeira, PLA) e métodos de fabricação (por exemplo, Usinagem CNC, Impressão 3D), incluindo limites de tolerância e restrições geométricas.

Construção do Conjunto de Dados:
O conjunto de dados de 106 instâncias de design foi curado por meio de um pipeline "Humano no Loop":

• Modelagem Inicial: Designers especialistas criaram modelos STEP de alta qualidade e scripts CadQuery correspondentes.
• Aumento por LLM: LLMs (Claude Opus 4.7) expandiram esses scripts para criar variantes diversas (estilísticas e funcionais).
• Vistas de Engenharia: Em vez de imagens renderizadas, o sistema extrai vistas 2D precisas de engenharia (Superior, Frontal, Lateral, Isométrica) com linhas ocultas para garantir avaliação geométrica precisa.
• Síntese de Especificação: LLMs geraram Especificações de Design estruturadas com base nos modelos, que foram então revisadas e corrigidas por especialistas humanos.

Protocolo de Avaliação em Três Estágios

O MUSE emprega um pipeline de avaliação em estilo funil, onde um modelo deve passar por cada estágio para prosseguir para o próximo:

1. Verificação de Código: O script CadQuery gerado é executado em um ambiente isolado (sandbox). O sucesso exige que o script seja executado sem erros e exporte um arquivo STEP válido.
2. Verificação Geométrica: O arquivo STEP exportado passa por quatro verificações binárias:
   • À Prova de Vazamento (Watertight): Sem fronteiras abertas.
   • Manifold: Topologia válida.
   • Livre de Auto-interseção: Sem sobreposições internas.
   • Livre de Sobreposição: Componentes distintos não se interpenetram.
3. Alinhamento com a Intenção de Design: Modelos válidos são convertidos em vistas de engenharia e avaliados por um Julgador VLM (Modelo de Linguagem Visual) Baseado em Rubrica. O julgador usa rubricas específicas de design (geradas a partir da Especificação de Design, desenhos de referência e tabelas de conhecimento de engenharia) para avaliar:
   • Funcionalidade: O design apoia seu uso pretendido e permanece estável?
   • Fabricabilidade: A geometria satisfaz as restrições de material e processo (por exemplo, espessura de parede, tolerância)?
   • Capacidade de Montagem: A topologia dos componentes e as interfaces de junta são preservadas corretamente?

Contribuições Principais

1. Mudança no Paradigma de Avaliação: O MUSE vai além da similaridade geométrica para avaliar a usabilidade de engenharia, testando explicitamente funcionalidade, fabricabilidade e capacidade de montagem.
2. Especificações de Design Estruturadas: A introdução de uma definição formal para Especificações de Design ($S = \langle D, G, \Omega, M \rangle$) fornece um framework rigoroso para definir montagens complexas e multicomponente com espaços de parâmetros válidos.
3. Julgador VLM Baseado em Rubrica: O artigo propõe um método de avaliação escalável usando um julgador VLM guiado por rubricas específicas de design e de alta granularidade. Essa abordagem reduz alucinações ao fundamentar a avaliação em restrições de engenharia e vistas de referência, validadas contra anotações humanas.
4. Conjunto de Dados Abrangente: Um conjunto de dados de 106 instâncias de design diversas, fabricáveis e montáveis, cobrindo vários materiais (Madeira, PLA, ABS, etc.) e processos (CNC, Impressão 3D, Corte a Laser).

Resultados Experimentais

Os autores avaliaram tanto LLMs de código fechado (por exemplo, GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro) quanto LLMs de código aberto (por exemplo, Qwen, Llama) no MUSE.

• Cascata de Falhas: Os resultados revelam uma degradação clara no desempenho ao longo dos três estágios. Embora alguns modelos alcancem sucesso moderado na Execução de Código (por exemplo, GPT-5.5 em ~77%), o desempenho cai significativamente na Validade Geométrica (por exemplo, ~69% para GPT-5.5) e colapsa ainda mais no Alinhamento com a Intenção de Design (por exemplo, ~52% para GPT-5.5).
• Deficiências de Alta Granularidade: Mesmo os modelos mais fortes lutam com critérios específicos de engenharia. Por exemplo, os melhores modelos de código fechado alcançaram apenas ~43% em Capacidade de Montagem e ~48% em Fabricabilidade. Modelos de código aberto tiveram desempenho significativamente pior, frequentemente falhando em produzir montagens válidas.
• Código vs. Geometria: Alta executabilidade de código não garante validade geométrica ou alinhamento com a intenção de design, indicando que os modelos atuais carecem de raciocínio espacial 3D robusto e manipulação de restrições de engenharia.
• Confiabilidade do Julgador: O julgador VLM baseado em rubrica mostrou forte correlação com anotações humanas (Pearson $r \approx 0,71$ no nível de subcritérios e $r \approx 0,83$ no nível de instância de design), validando seu uso para avaliação automatizada.

Significado

O artigo postula que o Texto para CAD tem sido mais fácil de medir como geração de forma do que de resolver como geração de design. O MUSE eleva o padrão ao exigir que modelos CAD gerados não sejam apenas "corretos" na forma, mas "corretos" na prática de engenharia — capazes de serem construídos, montados e usados. O benchmark expõe uma fraqueza central nos LLMs atuais: embora possam sintetizar código, eles falham em gerar coherentemente montagens que satisfaçam restrições geométricas e de engenharia acopladas. Ao fornecer um benchmark realista e um framework de avaliação, o MUSE visa impulsionar pesquisas futuras em direção a modelos que possam gerar designs verdadeiramente funcionais e fabricáveis.