cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

O artigo apresenta o "cadrille", um modelo de reconstrução CAD multimodal que integra dados de nuvem de pontos, imagens e texto, utilizando um pipeline de duas etapas com ajuste fino supervisionado e aprendizado por reforço (RL) para alcançar resultados de última geração em benchmarks desafiadores.

O essencial

Imagine que você tem um objeto físico na sua mão, como uma cadeira de design ou uma peça de máquina. Agora, imagine que você quer que um computador desenhe os "planos" digitais perfeitos dessa cadeira, para que qualquer engenheiro possa modificá-la depois. Fazer isso manualmente é difícil, demorado e requer muita habilidade.

O papel "CA DRILLE" (um nome divertido que mistura "CAD" com "Drill", como se fosse uma broca que perfura o problema) apresenta uma nova inteligência artificial que faz exatamente isso, mas de uma forma muito mais inteligente e versátil do que as anteriores.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Tradutor" Cego

Antes, as IAs para reconstruir objetos eram como tradutores que só falavam uma língua.

• Se você tinha uma nuvem de pontos (uma cópia digital feita por um scanner 3D caro), uma IA funcionava bem.
• Se você tinha uma foto, outra IA tentava adivinhar.
• Se você tinha uma descrição em texto ("faça uma cadeira vermelha com quatro pernas"), uma terceira IA tentava criar.

O problema é que elas não conseguiam misturar essas informações. E, pior ainda, as IAs que tentavam fazer tudo ao mesmo tempo costumavam criar planos cheios de erros, como se um arquiteto desenhasse uma casa onde as paredes não se conectam com o chão.

2. A Solução: O "Poliglota" Criativo

O CA DRILLE é como um arquiteto poliglota superdotado. Ele consegue entender três tipos de "idiomas" ao mesmo tempo:

1. Pontos 3D (como se você passasse o objeto por um scanner).
2. Imagens (fotos tiradas com seu celular).
3. Texto (você descrevendo o que quer).

Ele não apenas "adivinha" a forma; ele escreve um código de computador (um script em Python) que, quando executado, constrói o objeto digitalmente. É como se ele não desenhasse a cadeira à mão, mas escrevesse as instruções exatas para uma fábrica robótica montar a cadeira perfeitamente.

3. O Segredo: Como ele aprende? (A Metodologia)

Os autores usaram uma estratégia de treinamento em duas etapas, inspirada em como humanos aprendem e como grandes modelos de linguagem (como o ChatGPT) são treinados:

• Etapa 1: A Escola de Massa (Aprendizado Supervisionado)
  Imagine que o CA DRILLE passa anos estudando em uma escola gigante feita de milhões de desenhos gerados por computador. Ele vê milhares de exemplos de "objeto -> código". Ele aprende a lógica básica e a gramática do desenho 3D.

  • O problema: Como esses desenhos eram gerados por máquinas, eles são "perfeitos demais" e não parecem com objetos do mundo real (que têm sujeira, imperfeições e partes faltando).

• Etapa 2: O Estágio de Mestre (Aprendizado por Reforço)
  Aqui está a grande inovação. Em vez de apenas ler mais livros, o CA DRILLE vai para um "campo de treinamento" com objetos reais (ou fotos deles).

  • Ele tenta criar o código.
  • Um "professor" (um algoritmo) verifica: "Ei, esse código quebrou? A cadeira caiu? A geometria está errada?"
  • Se estiver errado, o professor dá uma "punição" (nota baixa). Se estiver certo, dá um "elogio".
  • O modelo aprende com esse feedback em tempo real, ajustando seu comportamento para não cometer erros, mesmo com dados imperfeitos. É como um músico que, após tocar mil músicas perfeitas na gravação, vai tocar em um show ao vivo e aprende a lidar com o ruído da plateia e falhas no microfone.

4. Por que isso é revolucionário?

• Precisão Realista: Ao usar o "estágio de mestre" (Reforço), o modelo aprende a lidar com o caos do mundo real. Ele consegue pegar uma foto tirada com um celular tremido ou um scanner com ruído e ainda assim gerar um código que funciona.
• Versatilidade: Com um único modelo, você pode dar uma foto, uma nuvem de pontos ou um texto, e ele funciona. Não precisa de três programas diferentes.
• Código Funcional: Diferente de outras IAs que apenas "desenham" uma imagem 3D, o CA DRILLE entrega o código-fonte. Isso significa que o objeto gerado é editável. Você pode pegar o código e mudar "a altura da cadeira" de 40cm para 50cm, algo impossível se fosse apenas uma imagem estática.

Resumo em uma frase

O CA DRILLE é um novo tipo de inteligência artificial que, ao contrário de seus antecessores que eram "cegos" para algumas formas de entrada, consegue entender fotos, textos e escaneamentos 3D ao mesmo tempo, e aprende com erros reais para escrever o "manual de instruções" perfeito para construir qualquer objeto 3D.

É como ter um assistente de design que não só entende o que você mostra ou diz, mas que também sabe como corrigir seus próprios erros para entregar um trabalho profissional, pronto para ser usado na engenharia real.

Resumo técnico

Título: CA DRILLE: Reconstrução Multimodal de CAD com Aprendizado por Reforço

1. Problema e Motivação

A Reconstrução de CAD (Computer-Aided Design) visa gerar modelos 3D editáveis e precisos a partir de dados de entrada como nuvens de pontos, imagens ou descrições textuais. Embora essencial para engenharia e manufatura, os métodos existentes enfrentam limitações críticas:

• Unimodalidade: A maioria dos métodos de ponta (SOTA) é especializada em uma única modalidade de entrada (apenas nuvens de pontos, apenas imagens ou apenas texto), limitando sua generalização e robustez.
• Qualidade Multimodal: As abordagens multimodais existentes (que tentam combinar essas entradas) geralmente apresentam desempenho inferior aos métodos unimodais especializados.
• Validade do Código: Métodos que geram código Python executável para CAD frequentemente produzem scripts inválidos (que não rodam), exigindo técnicas de amostragem no tempo de inferência que aumentam drasticamente o tempo de processamento.
• Discrepância de Dados: Modelos treinados apenas em dados proceduralmente gerados falham em generalizar para o mundo real, enquanto dados manuais (handcrafted) são escassos e difíceis de alinhar com dados sintéticos.

2. Metodologia Proposta (CA DRILLE)

O cadrille é um modelo baseado em Visão-Linguagem (VLM) que gera scripts Python executáveis (usando a biblioteca CadQuery) para reconstruir modelos CAD. A arquitetura e o pipeline de treinamento seguem uma abordagem inovadora:

Arquitetura

• Base: O modelo é construído sobre um VLM pré-treinado (Qwen2-VL-2B) que suporta nativamente texto e imagens.
• Entradas Multimodais:
  • Texto: Processado através da camada de embedding original.
  • Imagens: Processadas pelo codificador visual original.
  • Nuvem de Pontos: Adaptada através de uma camada de projeção linear treinável (similar ao método CAD-Recode), amostrando pontos da superfície sem usar normais.
• Saída: Um script Python que, quando executado, gera uma Representação de Fronteira (B-Rep) paramétrica do objeto 3D.

Pipeline de Treinamento em Duas Etapas

Diferente de pipelines anteriores que misturam dados ou usam apenas um conjunto, o cadrille adota uma estratégia sequencial:

1. Ajuste Fino Supervisionado (SFT):

   • Utiliza grandes volumes de dados proceduralmente gerados (conjunto CAD-Recode, ~1 milhão de modelos).
   • Objetivo: Ensinar o modelo a mapear entradas multimodais para sequências de código Python válidas e a generalizar sobre a estrutura do domínio CAD.
   • O modelo aprende a lidar com as três modalidades simultaneamente.

2. Ajuste Fino com Aprendizado por Reforço (RL):

   • Utiliza dados manuais (handcrafted) e do mundo real (como Fusion360 e CC3D), que são mais escassos, mas de alta qualidade e realismo.
   • Mecanismo: Não requer pares anotados (entrada, código) para esta etapa. O modelo gera amostras de código e recebe recompensas programáticas baseadas na qualidade da reconstrução 3D resultante.
   • Função de Recompensa: Combina o Intersection over Union (IoU) com a geometria real (multiplicado por 10 para precisão) e uma penalidade severa (-10) para códigos inválidos.
   • Algoritmos: O papel compara e utiliza DPO (Direct Preference Optimization) e uma abordagem híbrida chamada Dr. CPPO (combinação de Dr. GRPO e CPPO), que seleciona exemplos difíceis ("hard mining") para acelerar a convergência.

3. Contribuições Principais

1. Primeiro Modelo Multimodal SOTA: O cadrille é o primeiro método a atingir resultados de ponta simultaneamente em três modalidades de entrada (nuvens de pontos, imagens multi-visão e texto) dentro de um único framework unificado.
2. Validação do RL para CAD: É a primeira prova de que o ajuste fino com Aprendizado por Reforço (RL) melhora significativamente a reconstrução multimodal de CAD, especialmente na garantia de que o código gerado seja executável.
3. Estratégia de Treinamento Híbrida: Demonstra que usar dados sintéticos massivos para SFT e dados reais/manuais para RL (em vez de misturá-los no SFT) supera a abordagem tradicional, resolvendo problemas de inconsistência de domínio.
4. Avaliação Abrangente: Estabelece novos recordes em 10 benchmarks (3 modalidades x 4 conjuntos de dados), incluindo o conjunto de dados do mundo real CC3D.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados como DeepCAD, Fusion360, CC3D (real-world) e Omni-CAD.

• Desempenho Geral: O cadrille supera todos os métodos unimodais e multimodais anteriores.
  • Precisão: Melhora significativa no IoU (Interseção sobre União) e redução no Chamfer Distance (CD).
  • Robustez: Redução drástica na Taxa de Invalidade (IR). Enquanto métodos anteriores tinham IRs de até 10-15%, o cadrille com RL atinge IRs próximos de 0.0% a 0.2% em todos os benchmarks.
• Comparação com SFT Puro:
  • O modelo SFT puro (sem RL) já supera métodos unimodais, mas o RL traz melhorias cruciais na validade do código e na generalização para dados reais (CC3D).
  • No conjunto CC3D (dados reais com ruído), o cadrille com RL reduziu o erro de CD de 0.81 para 0.57 e a IR de 7.7% para 0.1%.
• Eficiência: Ao contrário de métodos que exigem gerar 10 amostras no tempo de teste para escolher a melhor (como CAD-Recode), o cadrille com RL atinge o melhor desempenho com uma única amostra, mantendo a inferência rápida.
• Ablação: O uso de hard example mining (focar nos exemplos onde o modelo falha) durante o RL foi crucial para a convergência. O algoritmo Dr. CPPO superou o DPO em todas as métricas.

5. Significância e Impacto

O trabalho CA DRILLE representa um avanço significativo na democratização do acesso a ferramentas de design. Ao permitir a reconstrução de CAD a partir de qualquer combinação de dados (fotos de celular, escaneamentos 3D ou descrições de texto) com alta precisão e código garantidamente executável, o modelo:

• Facilita a transição de dados do mundo real para modelos CAD editáveis.
• Elimina a necessidade de equipamentos de escaneamento caros para casos de uso simples (usando apenas imagens).
• Estabelece um novo paradigma de treinamento para tarefas de geração de código estruturado, onde o RL é usado para refinar a qualidade e a validade do código gerado a partir de dados sintéticos e reais.

O código e os modelos estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço futuro na área de engenharia assistida por computador.