Resumo Técnico: Modelos de Fundação para Geração Automática de CAD

Declaração do Problema

A automação do design mecânico permanece um desafio significativo na informática de engenharia. Os fluxos de trabalho tradicionais de Computer-Aided Design (CAD) exigem conhecimento especializado em modelagem paramétrica baseada em restrições e scripting, criando uma barreira para não especialistas e dificultando a integração em cadeias de processamento automatizadas. Embora os Large Language Models (LLMs) tenham demonstrado a capacidade de gerar código estruturado a partir de linguagem natural, existe uma lacuna crítica entre gerar código sintaticamente válido e produzir geometrias 3D semanticamente corretas e manufaturáveis. Um script pode ser analisado sem erros, mas resultar em uma peça com dimensões incorretas, ausência de recursos ou defeitos topológicos que impedem a malha ou simulação subsequente. Este artigo aborda a necessidade de um framework de avaliação robusto para avaliar a capacidade de modelos de fundação em traduzir especificações de linguagem natural em designs CAD paramétricos válidos, especificamente para peças mecânicas.

Metodologia

Os autores introduzem o LLMForge, um framework de texto-para-CAD multi-modelo projetado para avaliar e refinar a saída de modelos de fundação através de um pipeline unificado e um benchmark curado.

Conjunto de Dados de Benchmark

O estudo utiliza um benchmark de 97 problemas de design de engenharia extraídos de quatro famílias de geometrias canônicas:

1. Placas retangulares com furos e círculos de parafusos.
2. Caixas com múltiplos recursos (ocas e sólidas).
3. Cilindros flangeados.
4. Cantoneiras em L (L-brackets).

Cada problema é pareado com uma especificação de recurso de verdade fundamental (contagem de furos, dimensões, tratamentos de superfície) usada para computar pontuações de aderência analítica. Os modelos são instruídos a gerar um objeto JSON estritamente estruturado representando os parâmetros do CAD, em vez de código de formato livre.

Pipelines de Avaliação

O framework avalia sete modelos de fundação de última geração (DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1 e INTELLECT) sob dois regimes de crítica distintos, ambos empregando um loop de refinamento iterativo (até 4 rodadas):

1. IterTracer (Regime Analítico):

   • Mecanismo: Utiliza uma análise geométrica determinística e diferenciável de bitmaps renderizados.
   • Processo: Um renderizador de ray-trace com sombreamento Phong gera vistas ortográficas. Um pontuador analítico computa cinco sub-sinais: IoU de silhueta, visibilidade de furos, folga de borda, conformidade de proporção de aspecto e consistência de seção transversal.
   • Feedback: Estas métricas são convertidas em uma crítica escalar e enviadas de volta ao modelo para refinamento. Este regime é leve, rápido e não introduz variância estocástica.

2. IterVision (Regime Semântico):

   • Mecanismo: Aumenta o pontuador analítico com um crítico semântico baseado em Vision-Language Model (VLM) (Qwen2.5-VL-72B).
   • Processo: O VLM avalia as vistas renderizadas das geometrias candidatas usando raciocínio de cadeia de pensamento (chain-of-thought) para avaliar a coerência espacial e a intenção de design.
   • Feedback: O VLM fornece uma pontuação de correspondência semântica ($s_{vlm}$) e feedback textual estruturado (recursos ausentes, problemas geométricos), que é incorporado ao prompt de refinamento junto com as métricas analíticas.

Eixos de Pontuação

As peças geradas são avaliadas ao longo de eixos independentes:

• Validação ($s_{val}$): Conformidade com o esquema JSON.
• Malha ($s_{mesh}$): Indicador binário de geração de malha estanque (watertight) bem-sucedida.
• Recurso ($s_{feat}$): Comparação analítica contra as especificações de verdade fundamental.
• Visual ($s_{vis}$): Composto dos cinco sub-sinais visuais analíticos.
• VLM Semântico ($s_{vlm}$): (Apenas para IterVision) Pontuação de correspondência semântica do crítico VLM.

Contribuições Principais

1. Pipeline IterTracer: Um sistema de geração de texto-para-CAD iterativo utilizando métricas visuais analíticas para feedback orientado à geometria e leve, sem a necessidade de modelos neurais secundários.
2. Pipeline IterVision: Uma extensão que integra um crítico semântico baseado em VLM para avaliar a coerência espacial e a intenção de design, introduzindo uma nova dimensão ao registro de avaliação.
3. Benchmark Abrangente: Um conjunto de dados de 97 problemas de engenharia em quatro famílias de geometria, pareados com especificações de verdade fundamental para pontuação analítica.
4. Avaliação Empírica: Um estudo comparativo de sete modelos de fundação através de ambos os pipelines, fornecendo trajetórias de convergência por rodada e estatísticas completas de qualidade de malha.

Resultados Experimentais

• Desempenho de Alto Nível (IterTracer): Quatro modelos (DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B) formaram um grupo de desempenho coeso com pontuações gerais na faixa de $[0.885, 0.890]$ e uma taxa de sucesso de malha de 98.97%. Isso sugere que a tarefa atingiu um ponto de saturação para modelos de topo com ajuste fino de instrução sob crítica analítica.
• Impacto da Crítica VLM (IterVision): A adição do eixo VLM reduziu uniformemente as pontuações gerais em aproximadamente 0.04 pontos para o grupo de topo, indicando uma avaliação semântica mais exigente. No entanto, o Gemma-3-27B alcançou uma taxa de sucesso de malha de 100% (97/97), com todas as malhas sendo estanques e topologicamente válidas.
• Diferenciação de Modelos: O eixo VLM revelou diferenças de desempenho não visíveis nas métricas analíticas. Por exemplo, o DeepSeek-V3.2 liderou em correspondência semântica ($s_{vlm}$), enquanto o Gemma-3-27B obteve a menor pontuação entre os quatro principais neste eixo específico, apesar da geração de malha perfeita.
• Modos de Falha: Modelos de nível inferior exibiram padrões de falha distintos. O GLM-4.5 mostrou alta variância com erros intermitentes de esquema, enquanto o MiniMax-M2.1 e o INTELLECT sofreram de falhas geométricas fundamentais (ex: parâmetros malformados causando exceções na geração de malha). Notavelmente, o INTELLECT exibiu um "desacoplamento visual-geométrico", onde suas saídas renderizadas receberam altas pontuações de VLM apesar de falharem na validação de malha.
• Dificuldade Geométrica: Geometrias cilíndricas pontuaram consistentemente de 0.04 a 0.07 pontos abaixo de placas e cantoneiras, atribuído à falta de recursos de furos planares (reduzindo discriminadores visuais) e ao potencial sub-representação de partes com simetria rotacional nos dados de treinamento de VLM.
• Dinâmica de Refinamento: Sob o IterTracer, os principais modelos atingiram o pico na rodada 1 e declinaram, sugerindo que o feedback analítico corrige erros discretos em uma única passagem. Sob o IterVision, os modelos continuaram a melhorar através das rodadas 2 e 3, indicando que o feedback semântico fornece um gradiente de qualidade contínuo que suporta uma busca mais profunda.

Significância e Alegações

O artigo afirma que modelos compactos com ajuste fino de instrução podem atingir confiabilidade competitiva com sistemas substancialmente maiores para a geração de CAD paramétrico de geometrias canônicas. O estudo demonstra que:

• Feedback Analítico vs. Semântico: O feedback analítico é altamente eficaz para a satisfação rápida de restrições (esquema e validade de malha), mas satura rapidamente. O feedback visual semântico (VLM) é necessário para descobrir variações residuais na intenção de design e coerência espacial que as métricas analíticas não detectam.
• Integração em Fluxos de Trabalho Industriais: A representação estruturada em JSON e o protocolo de crítica de múltiplas rodadas são adequados para integração em fluxos de trabalho de Gestão de Dados do Produto (PDM) de engenharia. Os autores sugerem uma estratégia de dois estágios: usar a crítica analítica para geração rápida e a invocação seletiva de VLM para peças de alto valor ou ambíguas para equilibrar o gasto de tokens e a qualidade.
• Saturação do Benchmark: O desempenho quase idêntico dos principais modelos sob crítica analítica sugere que os benchmarks atuais podem ser insuficientes para diferenciar modelos de estado da arte, necessitando da inclusão de eixos de avaliação semântica.

Os autores concluem que, embora o escopo atual seja limitado a geometrias canônicas, o framework fornece uma base para pesquisas futuras em design mecânico escalável e automatizado, incluindo superfícies de forma livre e restrições específicas de manufatura.