Resumo Técnico: Avaliação de Texto para CAD com CADTESTS

Declaração do Problema

O campo de geração de Texto para CAD ganhou tração significativa, impulsionado pelas capacidades dos Modelos de Linguagem e Visão (VLMs) de traduzir prompts em linguagem natural em designs paramétricos 3D. No entanto, a avaliação desses modelos generativos permanece um gargalo crítico. Os paradigmas de avaliação atuais dependem predominantemente de métricas de similaridade geométrica, como Distância de Chamfer (CD) ou Interseção sobre União (IoU), calculadas contra um único modelo de referência de verdade fundamental.

Essa abordagem é fundamentalmente falha para tarefas de Texto para CAD porque prompts em linguagem natural são inerentemente ambíguos. Um único prompt frequentemente permite um espaço de variações de design válidas (por exemplo, diferentes escalas, rotações ou detalhes geométricos específicos não explicitamente restringidos). Consequentemente, um modelo gerado que é geometricamente distinto da referência, mas totalmente compatível com as restrições do prompt, pode ser penalizado por métricas de similaridade. Por outro lado, um modelo que é geometricamente próximo da referência, mas falha em satisfazer requisitos estruturais ou topológicos específicos do prompt, pode ser aprovado. Além disso, as métricas existentes frequentemente falham em contabilizar gerações inválidas (por exemplo, código que falha ao executar) ou carecem de interpretabilidade sobre por que uma geração falhou.

Metodologia

Os autores propõem uma mudança de paradigma da comparação geométrica para testes de software automatizados, tratando Texto para CAD como um problema de síntese de código onde descrições em linguagem natural são traduzidas em programas paramétricos executáveis.

1. CADTESTS

A inovação central é o CADTESTS, um conjunto de testes de software executáveis projetados para verificar se um modelo CAD gerado satisfaz os requisitos geométricos e topológicos do prompt de entrada.

• Implementação: Cada teste é um trecho de código Python utilizando CadQuery, uma biblioteca para design de CAD programático. Esses scripts consultam a Representação de Fronteira (B-Rep) do modelo gerado para inspecionar propriedades como contagens topológicas (faces, arestas, vértices), dimensões da caixa delimitadora, volumes, centro de massa e relações espaciais.
• Teste Baseado em Propriedades: Em vez de corresponder a uma geometria de referência específica, o CADTESTS verifica propriedades invariantes definidas pelo prompt (por exemplo, "o modelo deve ter exatamente 16 vértices" ou "o furo deve se estender por toda a altura").
• Interpretabilidade: Diferentemente de pontuações de similaridade de caixa-preta, testes falhos retornam mensagens de log explícitas descrevendo a violação de restrição específica.

2. CADTESTBENCH

Para facilitar a avaliação, os autores introduzem o CADTESTBENCH, o primeiro benchmark baseado em testes para Texto para CAD. Ele é construído usando um pipeline automatizado que sintetiza suites de testes para 200 amostras (derivadas do conjunto de dados CADPrompt), compreendendo prompts tanto abstratos quanto detalhados.

• Pipeline de Síntese: O pipeline emprega um planejador de Modelo de Linguagem de Grande Escala (LLM) para gerar suites de testes.
• Análise de Mutação: Para garantir o poder discriminativo dos testes, o pipeline gera mutantes de CAD — versões modificadas do programa CAD de referência que violam deliberadamente requisitos específicos do prompt (por exemplo, alterando dimensões, removendo recursos ou mudando a topologia).
• Refinamento Iterativo: A suite de testes é refinada através de um loop iterativo. O planejador executa testes em um "conjunto de aprovação" (modelos de referência válidos e suas variantes aumentadas) e um "conjunto de mutação" (mutantes). O planejador analisa rastros de execução para reparar testes existentes ou gerar novos até que todos os testes passem em modelos válidos e detectem com sucesso (mate) os mutantes. Esse processo continua por múltiplas rodadas (R=4 nos experimentos) para alcançar pontuações de mutação altas (>90%).

3. Protocolo de Avaliação

O benchmark avalia métodos usando quatro métricas complementares:

• Taxa de Aprovação (PR): A porcentagem de amostras onde todos os CADTESTS passam.
• Pontuação de Requisito (RS): A fração de grupos de requisitos do prompt satisfeitos por amostra.
• Taxa de Invalidade (IR): A proporção de gerações que falham ao executar (erros de tempo de execução).
• Precisão por Categoria: Desempenho dividido por categorias de teste (por exemplo, Validade de Sólido/Shell, Topologia, Dimensões, Arranjo Espacial).

Contribuições Principais

1. Framework CADTESTS: A introdução de testes executáveis baseados em propriedades que verificam a conformidade com o prompt diretamente na geometria gerada, indo além da similaridade geométrica dependente de referência.
2. CADTESTBENCH: O primeiro benchmark orientado a testes para Texto para CAD, apresentando um pipeline automatizado para síntese e refinamento de testes usando análise de mutação. Inclui 5.937 testes em 200 amostras.
3. Avaliação Abrangente: Uma avaliação minuciosa de métodos recentes de Texto para CAD (tanto ajustados quanto sem treinamento) no CADTESTBENCH, revelando limitações nas abordagens atuais quanto ao raciocínio topológico e espacial.
4. Baselines Orientadas a Testes: A demonstração de que o CADTESTS pode servir como um mecanismo de feedback eficaz durante a geração. Ao integrar a execução de testes e o feedback de log em um loop ReAct, baselines simples mostraram-se superiores aos métodos existentes de última geração.

Resultados

• Desempenho do Benchmark: Métodos sem treinamento atuais (por exemplo, GPT-5.2, Claude-4.6-Sonnet) geralmente superam modelos ajustados (por exemplo, Text2CAD) no CADTESTBENCH. Modelos ajustados, frequentemente treinados em dados sintéticos restritos a paradigmas específicos (esboço e extrusão), falham em generalizar para as diversas restrições no CADTESTBENCH.
• Impacto do Planejador: A escolha do planejador LLM subjacente impacta significativamente o desempenho, com o Claude-4.6-Sonnet superando consistentemente as variantes baseadas em GPT em todas as métricas.
• Mecanismos de Feedback: Baselines incorporando loops ReAct (execução iterativa de código e correção de erros) alcançam taxas de invalidade menores e taxas de aprovação mais altas.
• Baselines Baseadas em Testes: As propostas CADTests e CADTests + Log alcançaram o maior desempenho. Especificamente, a abordagem "CADTests + Log" usando Claude-4.6-Sonnet alcançou uma Taxa de Aprovação de 0,810 em prompts abstratos e 0,625 em prompts detalhados, superando todos os outros métodos.
• Alinhamento Humano: Um estudo humano envolvendo anotadores especialistas demonstrou que a avaliação baseada em CADTESTS alinha-se significativamente mais próximo ao julgamento humano (acordo de Cohen's $\kappa$ = 0,938 na taxa de aprovação) em comparação com métricas geométricas (Distância de Chamfer) ou pontuações baseadas em VLM (AUC ~0,66 vs. 0,928 para CADTests).

Significado e Alegações

O artigo afirma que o CADTESTS oferece um paradigma de avaliação mais rigoroso, interpretável e livre de referência para Texto para CAD. Ao tratar a geração de CAD como síntese de código, os autores argumentam que a avaliação baseada em testes lida corretamente com a ambiguidade de prompts em linguagem natural validando restrições específicas em vez de impor similaridade geométrica a uma única referência.

Os autores enfatizam que, embora o teste automatizado seja padrão na engenharia de software, sua aplicação ao CAD foi negligenciada. Eles demonstram que:

1. Análise de Mutação é eficaz para sintetizar suites de testes de alta qualidade que capturam especificações de prompts enquanto permanecem robustas a variações geométricas válidas.
2. Geração Orientada a Testes é uma estratégia viável, onde o feedback da execução de testes permite que os modelos refinem iterativamente suas saídas, frequentemente superando métodos que dependem apenas de feedback visual ou prompts estáticos.
3. Limitações Atuais: Apesar das melhorias, os planejadores LLM atuais ainda lutam com raciocínio topológico preciso, restrições dimensionais e arranjos espaciais, conforme evidenciado por menor precisão nessas categorias específicas de teste.

O trabalho conclui que o CADTESTBENCH fornece uma base necessária para avançar a pesquisa de Texto para CAD, oferecendo um caminho para sistemas de design generativo mais confiáveis e verificáveis. Os autores reconhecem que, como qualquer suite de testes, o CADTESTS pode não cobrir todos os casos extremos possíveis (a limitação de "cobertura de testes"), mas o processo de refinamento iterativo mitiga significativamente esse risco.