Resumo Técnico: ProCAD – Agentes Proativos para Geração Robusta de Texto-para-CAD

1. Definição do Problema

Os sistemas atuais de texto-para-CAD, que traduzem comandos em linguagem natural em programas CAD paramétricos (especificamente CadQuery), enfrentam um problema crítico de robustez. Embora os Grandes Modelos de Linguagem (LLMs) tenham permitido progressos iniciais, eles operam tipicamente sob a premissa de que os comandos do usuário são precisos e consistentes. Na prática, descrições geométricas em linguagem natural são frequentemente subespecificadas (faltando dimensões críticas) ou internamente inconsistentes (contendo restrições conflitantes).

Abordagens existentes, sejam elas geração de passo único via LLMs ajustados ou refinamento baseado em feedback, tendem a tratar o comando do usuário como uma especificação confiável. Diante da ambiguidade, esses modelos frequentemente "alucinam" dimensões para satisfazer a solicitação, levando a códigos inválidos ou modelos geometricamente incorretos. Isso limita a utilidade prática do texto-para-CAD para tarefas de engenharia do mundo real, onde a precisão é primordial.

2. Metodologia

Os autores propõem o ProCAD, um framework agêntico proativo projetado para resolver problemas de especificação antes da síntese do código. O sistema decompõe a tarefa em um pipeline de dois agentes:

A. A Arquitetura de Dois Agentes

1. Agente de Clarificação Proativa ($\pi_\phi$):

   • Papel: Audita o comando do usuário para detectar restrições ausentes ou conflitantes.
   • Mecanismo: Modelado como um Processo de Decisão de Markov (MDP) de horizonte finito, onde o ambiente é o usuário. O agente decide, a cada etapa, se deve ACEITAR a especificação atual ou PERGUNTAR uma questão de esclarecimento direcionada.
   • Objetivo: Maximizar uma função de recompensa que equilibra a fidelidade geométrica (minimizando a Distância de Chamfer) e o custo de comunicação (minimizando rodadas de interação e número de tokens).
   • Estratégia: O agente é treinado para fazer perguntas mínimas e essenciais para produzir uma especificação autossuficiente, evitando interrupções desnecessárias.

2. Agente de Codificação CAD ($\pi_\theta$):

   • Papel: Traduz a especificação finalizada e esclarecida em um programa CadQuery executável.
   • Mecanismo: Um modelo padrão de geração de texto-para-código ajustado em dados de alta qualidade e inequívocos.

B. Criação de Dados e Pipeline de Treinamento

Para treinar esses agentes, os autores construíram um novo conjunto de dados de alta qualidade e uma estratégia de treinamento:

• Conjunto de Dados de Alta Qualidade Texto-para-CadQuery (10K amostras):

  • Fonte: Derivado do dataset DeepCAD (Wu et al., 2021) via programas CadQuery.
  • Processo: Em vez de gerar código a partir de texto, o pipeline renderiza formas de múltiplos pontos de vista e utiliza um VLM de fronteira (GPT-5-mini) para gerar descrições em linguagem natural condicionadas tanto às imagens quanto ao código CadQuery de origem.
  • Verificação: Um loop de "gerar-e-verificar" garante a qualidade. As descrições geradas são checadas para:
    1. Vazamento de Código (Code Leakage): Garantir que nenhum trecho de código bruto seja copiado para o texto.
    2. Completude: A descrição é alimentada de volta ao VLM para sintetizar o código; se a geometria resultante corresponder à verdade fundamental (Distância de Chamfer $< 2 \times 10^{-4}$), a amostra é aceita.
  • Refinamento: Amostras que falham nos testes são tentadas novamente até três vezes; falhas persistentes são encaminhadas a especialistas humanos.

• Treinamento do Agente de Codificação (ProCAD-coder):

  • Ajustado via Aprendizado por Supervisão (SFT) em 1.6K amostras cuidadosamente curadas do dataset de 10K.
  • Modelo base: Qwen2.5-7B-Instruct.

• Treinamento do Agente de Clarificação (ProCAD-clarifier):

  • Treinado via SFT Agêntico em um dataset sintético de 6.063 amostras.
  • Síntese: Prompts ambíguos são criados perturbando especificações verificadas (omitindo dimensões ou introduzindo conflitos).
  • Trajetórias: Os dados de treinamento incluem trajetórias completas do agente, onde o agente faz perguntas e recebe respostas de usuários simulados (usando o GPT-5-mini como simulador de usuário) para alcançar uma especificação corrigida.
  • Objetivo: Aprender a identificar ambiguidades e fazer o conjunto mínimo de perguntas necessárias para resolvê-las.

3. Principais Contribuições

1. Framework Agêntico Proativo: Uma mudança de geração estática de passo único para um sistema de dois agentes que detecta e resolve proativamente ambiguidades de especificação antes da geração do código.
2. Dataset Curado de Alta Qualidade: A criação de um dataset de 10K texto-para-CadQuery com rigorosas verificações de vazamento e completude, demonstrando que descrições mais limpas e precisas melhoram significativamente a síntese de código subsequente.
3. Treinamento Eficiente com Dados Mínimos:
   • O agente de codificação atinge desempenho superior usando apenas 1.6K amostras de ajuste fino, superando modelos de código aberto de fronteira.
   • O agente de clarificação é treinado em um dataset sintético de 6.063 trajetórias para lidar com ambiguidades de forma eficaz.
4. Robustez à Ambiguidade: O sistema reduz significativamente a geração de código inválido e erros geométricos quando confrontado com prompts subespecificados ou conflitantes.

4. Resultados Experimentais

Experimentos foram conduzidos em conjuntos de teste inequívocos e ambíguos, comparando o ProCAD com modelos de fronteira (ex: Claude Sonnet 4.5, GPT-4o-mini) e métodos anteriores de código aberto.

• Desempenho de Codificação (Prompts Inequívocos):

  • O ProCAD-coder reduziu a Razão de Invalidade (IR) de ~86.9% (Qwen2.5 zero-shot) para 0.9%.
  • Alcançou uma Distância de Chamfer (CD) mediana de 0.066 (escala $\times 10^{-3}$), superando o Claude Sonnet 4.5 (0.077) e métodos anteriores como o Text-CAD (0.097).

• Desempenho de Clarificação (Prompts Ambíguos):

  • Em um cenário de dois agentes com respostas de usuários simulados, o ProCAD (Clarificador + Codificador) alcançou a menor CD Média (0.63) e CD Mediana (0.08).
  • Reduziu a Razão de Invalidade para 0.9%, comparado aos 14.6% do baseline Claude Sonnet 4.5 de modelo único.
  • Qualidade de Interação: O ProCAD alcançou as pontuações mais altas de Eficiência (0.9654) e Resolução (0.9341), indicando que faz menos perguntas redundantes e resolve ambiguidades com sucesso.

• Generalização:

  • O sistema manteve alto desempenho quando o simulador de usuário foi trocado de GPT-5-mini para Claude 4.5 Haiku, demonstrando robustez a comportamentos de usuário fora da distribuição.
  • Avaliação Centrada no Humano: Em testes com anotadores humanos reais (100 amostras), o ProCAD-clarifier continuou a superar os baselines em Eficiência, Resolução e fidelidade geométrica final (CD Médio de 1.28 vs. 9.72 para o segundo melhor baseline).

5. Significância e Alegações

O artigo afirma que o ProCAD representa um avanço significativo para tornar o texto-para-CAD robusto para aplicações de engenharia prática. Sua principal significância reside em:

• Mudança de Paradigma: Mover de uma geração "reativa" (onde os modelos adivinham informações faltantes) para uma clarificação "proativa" (onde os modelos pedem a informação faltante). Isso se alinha melhor aos padrões rigorosos do design de engenharia.
• Impacto da Qualidade dos Dados: Os resultados sugerem que a qualidade da descrição textual é um gargalo crítico. Os autores demonstram que, mesmo com um modelo base forte, descrições ruins ou ambíguas levam ao erro, enquanto descrições de alta qualidade e verificadas permitem que até modelos menores superem modelos massivos de fronteira.
• Eficiência: O framework alcança robustez de estado da arte com conjuntos de dados de ajuste fino relativamente pequenos (1.6K para codificação, 6K para clarificação), desafiando a noção de que a escala massiva é sempre necessária para uma geração de CAD confiável.

Os autores concluem que trabalhos futuros devem focar na coleta de datasets de ambiguidade em larga escala a partir de interações humanas reais e no desenvolvimento de modelos dedicados de simulador de usuário para refinar ainda mais o processo de clarificação proativa.