Resumo Técnico: Text2CAD-Bench

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham catalisado o progresso na geração de modelos de Desenho Assistido por Computador (CAD) paramétricos a partir de linguagem natural, a avaliação sistemática desses sistemas permanece criticamente limitada. Os benchmarks existentes sofrem de três deficiências primárias que desalinharam a intenção de design humana com representações executáveis por máquinas:

1. Complexidade Geométrica Restrita: Os conjuntos de dados atuais consistem predominantemente em primitivas simples de esboço e extrusão, carecendo de suporte para recursos de modelagem avançados essenciais para a manufatura do mundo real, como chanfros, arredondamentos, varreduras, loftings e superfícies livres.
2. Cobertura de Domínio Estreita: Os benchmarks anteriores focam quase exclusivamente em peças mecânicas tradicionais, negligenciando aplicações diversas em dispositivos médicos, produtos de consumo e fabricação arquitetônica.
3. Diversidade Linguística Insuficiente: As descrições existentes frequentemente espelham sequências de comandos de baixo nível em vez de transmitir a intenção de design de alto nível. Isso incentiva os modelos a aprender mapeamentos superficiais de "tradução de comandos" em vez de alcançar uma genuína "compreensão de forma".

Metodologia

Os autores apresentam o Text2CAD-Bench, o primeiro benchmark abrangente projetado para avaliar a geração de CAD paramétrico a partir de texto através de uma hierarquia de complexidade rigorosamente definida e domínios de aplicação diversos.

Construção do Benchmark

O benchmark compreende 600 exemplos curados por humanos, organizados em quatro níveis progressivos (L1–L4) e emparelhados com prompts de linguagem natural de estilo duplo:

• Descrições Geométricas: Imitam usuários não especialistas ao caracterizar formas por aparência, relações espaciais e detalhes do global para o local.
• Descrições de Sequência: Alinham-se com convenções de CAD de nível especialista, especificando a lógica de construção passo a passo.

O pipeline de construção segue um processo humano-no-loop:

1. Especificação de Design: Definição da geometria alvo e níveis de complexidade.
2. Autoria Colaborativa: Designers humanos especificam a geometria e desenvolvem iterativamente o código CadQuery (uma API baseada em Python) com assistência de IA, garantindo malhas válidas e estanques e níveis de complexidade correspondentes.
3. Geração de Descrição: Criação dos prompts de estilo duplo para cada modelo validado.
4. Garantia de Qualidade: Verificação da executabilidade, correspondência descrição-geometria e consistência entre estilos.

Níveis de Complexidade

• L1 (Básico): Geometria fundamental com formas primitivas e relações espaciais básicas.
• L2 (Intermediário): Complexidade composicional envolvendo operações booleanas e recursos padrão de CAD (por exemplo, arredondamentos em cortes booleanos).
• L3 (Avançado): Operações sofisticadas incluindo varreduras, loftings, cascas e padrões complexos, exigindo domínio de geometria baseada em caminhos e superfícies livres.
• L4 (Mundo Real): 100 exemplos abrangendo domínios diversos (industrial, consumo, médico, arquitetônico). Estes avaliam a generalização dentro de contextos de aplicação (por exemplo, "adequado para parafuso M4") enquanto mantêm parâmetros geométricos precisos.

Métricas de Avaliação

O benchmark emprega uma abordagem multi-métrica para avaliar tanto a validade do código quanto a fidelidade geométrica:

• Distância de Chanfro (CD): Mede a similaridade geométrica entre as malhas geradas e as verdadeiras.
• Taxa de Invalidade (IR): A porcentagem de amostras de código que falham na execução devido a erros de sintaxe, tempos limite ou geometria degenerada.
• Interseção sobre União (IoU): Mede a sobreposição volumétrica.
• Avaliação Baseada em VLM (para L4): Como a comparação de código verdadeiro é insuficiente para a qualidade de design contextual, um Modelo Visão-Linguagem (GLM4.6V) pontua os modelos gerados em 8 renderizações de múltiplas visões através de cinco categorias de recursos e similaridade geral.

Contribuições Principais

1. Construção de Conjunto de Dados: A criação de um conjunto de dados de 600 exemplos que aborda a falta de operações geométricas avançadas (chanfros, arredondamentos, varreduras, loftings) e diversidade de aplicação em benchmarks anteriores.
2. Design de Prompt de Estilo Duplo: A introdução de estilos de prompt geométrico e de sequência, com evidências empíricas demonstrando que descrições geométricas geralmente produzem desempenho de geração superior em tarefas básicas, enquanto descrições de sequência mostram vantagens em tarefas complexas e procedimentais.
3. Avaliação Abrangente: Uma avaliação rigorosa de LLMs gerais de uso comum (por exemplo, GPT-5.2, Claude-4.5, DeepSeek-V3.2) e modelos específicos de domínio, revelando lacunas significativas de desempenho em recursos avançados e cenários do mundo real.

Resultados Experimentais

Experimentos conduzidos no Text2CAD-Bench revelam várias descobertas críticas:

• Degradação de Desempenho com Complexidade: Embora os modelos performem razoavelmente em tarefas L1–L2, o desempenho degrada substancialmente no L3. A Distância de Chanfro aumenta em 1,3–2,1×, e as Taxas de Invalidade sobem de ~15% para 70–90% à medida que os modelos encontram recursos avançados como varreduras e loftings.
• Sensibilidade ao Estilo de Prompt: Descrições geométricas superam descrições de sequência no L1–L2 em múltiplas métricas. No entanto, essa vantagem diminui ou se inverte no L3, onde a natureza procedimental de operações avançadas torna as descrições de sequência mais eficazes para transmitir a lógica de construção.
• Modelos de Uso Geral vs. Específicos de Domínio: Existe uma divergência marcante entre as categorias de modelos. Modelos específicos de domínio (por exemplo, Text2CAD) frequentemente alcançam baixas Taxas de Invalidade, mas fidelidade geométrica extremamente pobre (CD alto, IoU próximo de zero), sugerindo que geram código sintaticamente válido, mas geometricamente impreciso. Por outro lado, LLMs de uso geral mostram melhor alinhamento geométrico, mas lutam com a execução de código em tarefas complexas.
• Desacoplamento de Capacidades em Cenários do Mundo Real (L4): A avaliação do L4 revela que a executabilidade do código, a precisão geométrica e a compreensão da intenção de design são dimensões amplamente independentes. Nenhum modelo único domina as três; por exemplo, um modelo com a menor Taxa de Invalidade pode pontuar mal em perguntas de design ao nível de recursos, enquanto um modelo com alta similaridade geométrica pode falhar em capturar o contexto funcional.

Significado e Alegações

O artigo posiciona o Text2CAD-Bench como um alvo desafiador para pesquisas futuras, estabelecendo que o texto-para-CAD permanece em grande parte não resolvido além da geometria básica. Os autores afirmam que os sistemas atuais de última geração lutam significativamente com recursos avançados e contextos de aplicação do mundo real, indicando a necessidade de avanços substanciais nas capacidades dos modelos ou nos dados de treinamento antes que fluxos de trabalho profissionais confiáveis possam ser suportados.

Além disso, o estudo destaca que a representação de saída importa criticamente, demonstrando que representações baseadas em Python do CadQuery permitem que os modelos aproveitem melhor as capacidades pré-treinadas de geração de código em comparação com sequências de comandos tradicionais. Finalmente, o benchmark sublinha a necessidade de avaliação multidimensional, pois otimizar para correção de código ou fidelidade geométrica isoladamente não garante sucesso em tarefas de design holísticas. Os autores lançam o benchmark para impulsionar o progresso no campo, reconhecendo que, embora 600 exemplos não possam representar exaustivamente todo o espaço de design CAD, eles fornecem uma base necessária e de alta qualidade para diagnosticar limitações dos modelos.