Resumo Técnico: Destilação de Cadeia de Pensamento Condicionada à Resposta para Visão Industrial Few-Shot com Pequenos VLMs

Declaração do Problema

A implementação de IA para inspeção visual na manufatura enfrenta três gargalos críticos: requisitos em rápida mudança, o surgimento de novos tipos de defeitos e a escassez de grandes conjuntos de dados rotulados. Redes Neurais Convolucionais (CNNs) tradicionais exigem milhares de imagens rotuladas, o que muitas vezes é inviável para fábricas que precisam de classificadores em poucos dias utilizando menos de 30 exemplos. Por outro lado, modelos de linguagem-visão (VLMs) de fronteira, como o GPT-4.1, podem interpretar imagens sem treinamento específico para a tarefa, mas sua precisão em tarefas industriais especializadas é frequentemente baixa (ex: 24,1% na classificação de granulometria de agregados de concreto), e eles não podem ser implantados localmente devido a custos e privacidade de dados. Inversamente, pequenos VLMs (1–7 bilhões de parâmetros) cabem em hardware de borda (edge), mas, quando submetidos ao ajuste fino (fine-tuning) padrão com dados mínimos, tendem a memorizar pares imagem-rótulo em vez de aprender o conhecimento do domínio, falhando em generalizar.

Os métodos existentes de destilação de Cadeia de Pensamento (CoT - Chain-of-Thought), que treinam modelos menores em dados aumentados por raciocínio provenientes de modelos professores maiores, concentraram-se primariamente em configurações apenas de texto ou cenários onde o modelo professor já é altamente competente. Este artigo aborda a lacuna da aplicação da destilação de CoT a VLMs em configurações industriais de poucos exemplos (few-shot), onde o próprio professor de fronteira pode ter um desempenho pobre (tão baixo quanto 24,1% de precisão).

Metodologia

Os autores propõem a Destilação de CoT Condicionada à Resposta, um pipeline projetado para adaptar rapidamente pequenos VLMs (especificamente um modelo de 3 bilhões de parâmetros) a novas tarefas industriais usando 18–30 imagens rotuladas.

1. Geração de Raciocínio Condicionada à Resposta

Ao contrário do CoT padrão, onde um modelo professor classifica uma imagem e explica sua previsão, este método assume que o modelo de fronteira (GPT-4.1) já conhece o rótulo correto ($y_i$) para uma imagem de treinamento ($x_i$).

• Processo: O modelo de fronteira recebe a imagem e o rótulo correto (ground-truth) da classe. Ele é instruído a gerar uma explicação visual justificando por que aquele rótulo específico é o correto e por que classes semelhantes não se aplicam.
• Raciocínio Contrastivo: As descrições geradas contrastam explicitamente a classe alvo com distratores visualmente semelhantes (ex: distinguindo "porosidade" de "falta de penetração" em radiografias de solda, descrevendo forma e distribuição).
• Racional: Ao condicionar o processo ao rótulo correto, o sistema garante que todo o raciocínio de treinamento seja direcionado para a conclusão correta. Isso é crítico porque, se o professor fosse solicitado a classificar primeiro, até 76% do raciocínio gerado poderia estar incorreto, contaminando os dados de treinamento.

2. Construção de Dados e Treinamento

Para cada um dos $N$ conjuntos de imagens de treinamento rotuladas, os autores constroem dois tipos de conjuntos de dados:

• LoRA Direto: $N$ pares de (Imagem + Prompt $\to$ JSON Rótulo).
• LoRA Aumentado com CoT: $4N$ pares. Para cada imagem, três descrições de CoT são geradas pelo modelo de fronteira, além de um par de rótulo direto. Os pares de CoT consistem na imagem, um prompt sem instruções JSON, o texto de raciocínio gerado e a saída JSON correta.

O pequeno VLM (Qwen2.5-VL-3B-Instruct) é ajustado finamente nesses conjuntos de dados usando LoRA (Low-Rank Adaptation). Apenas os tokens de resposta do assistente contribuem para a perda (loss); os prompts do usuário e os tokens de imagem são mascarados.

3. Engenharia de Prompt

O estudo enfatiza que a qualidade do prompt é primordial. O prompt de classificação deve incluir definições detalhadas de classes, descrições visuais e características contrastivas que distinguem classes semelhantes. Experimentos mostraram que o uso de definições de classe mais curtas durante o treinamento (mantendo as definições completas para avaliação) degradou a precisidade em 18,1 pontos percentuais, indicando que a geração de raciocínio depende fortemente da especificidade das definições fornecidas.

Principais Contribuições

1. Aplicação a VLMs Industriais: A primeira aplicação de destilação de CoT condicionada à resposta para VLMs em classificação industrial few-shot, demonstrando melhorias consistentes em quatro tarefas, três modalidades de imagem e quatro sementes aleatórias (16/16 vitórias).
2. Isolamento da Qualidade do Raciocínio: Um experimento controlado de orçamento igual prova que os ganhos de desempenho decorrem da qualidade do raciocínio, e não meramente do aumento de etapas de treinamento ou volume de dados.
3. Necessidade de Condicionamento à Resposta: Os autores demonstram que, sem o condicionamento à resposta, o CoT não condicionado pode degradar o desempenho em até 17,8 pontos percentuais quando o modelo professor é impreciso.
4. Superioridade sobre Modelos de Fronteira: Um modelo de 3 bilhões de parâmetros, ajustado com apenas 24 imagens, supera o GPT-4.1 e o Gemini 2.5 Pro em tarefas industriais especializadas, apesar de os modelos de fronteira receberem imagens de referência durante a inferência.

Resultados Experimentais

O método foi validado em quatro tarefas abrangendo três modalidades:

• Granulometria: Classificação de agregados de concreto (9 classes, fotografia).
• Superfície de Aço: Classificação de defeitos (6 classes, fotografia).
• UHCS: Microestrutura de aço (5 classes, microscopia).
• Defeitos de Solda: Classificação de radiografias (4 classes, raio-X).

Métricas de Desempenho:

• Consistência: A abordagem aumentada com CoT superou o LoRA Direto em todas as 16 combinações de semente-tarefa.
• Melhoria: As melhorias médias variaram de +1,7 a +4,4 pontos percentuais sobre o LoRA Direto.
• Comparação com Modelos de Fronteira:
  • Defeitos de Solda: O modelo 3B ajustado alcançou 75,0% de precisão, superando o few-shot do GPT-4.1 (65,0%) em 10,0 pontos percentuais.
  • Granulometria: O modelo 3B alcançou 77,8% vs. os 29,6% do GPT-4.1 (+48,2pp).
  • Superfície de Aço: O GPT-4.1 (91,1%) permaneceu superior, provavelmente devido à sua capacidade de few-shot com imagens de referência.

Experimentos de Controle:

• Orçamento Igual: Treinar o LoRA Direto com 4x mais dados (imagens duplicadas) para igualar a contagem de etapas do CoT aumentado não gerou ganhos semelhantes; de fato, frequentemente teve desempenho inferior ou igual, confirmando que o ganho vem de sinais de raciocínio diversos, não apenas de mais etapas.
• Linha de Base Não Condicionada: Quando o professor (Gemini 2.5 Pro) não recebeu a resposta correta e gerou o raciocínio baseado em suas próprias previsões (potencialmente erradas), o desempenho caiu significativamente (ex: -17,8pp em Granulometria) em comparação ao LoRA Direto, validando o efeito de "contaminação" de raciocínios incorretos.

Significância e Alegações

O artigo afirma que a Destilação de CoT Condicionada à Resposta é uma solução viável e eficiente para implantar pequenos VLMs locais em ambientes industriais dinâmicos. O método transforma a limitação de pequenos conjuntos de dados em uma oportunidade para transferência de raciocínio de alta qualidade.

• Eficiência: O pipeline completo (geração via API + treinamento LoRA) leva menos de 2 horas em uma única GPU NVIDIA L4, permitindo que engenheiros de fábrica implantem modelos adaptados ao domínio dentro de um dia.
• Robustez: A abordagem é essencial para domínios onde os modelos de fronteira carecem de especialização. Os autores argumentam que o condicionamento à resposta não é opcional nesses cenários; sem ele, o processo de destilação pode ser prejudicial.
• Praticidade: O estudo destaca que a engenharia de prompt (especificamente definições de classe detalhadas) é parte integrante do sucesso do método, pois definições fracas levam a um raciocínio fraco.

Os autores concluem que esta abordagem permite que modelos pequenos superem modelos massivos de fronteira em tarefas especializadas quando limitados por dados rotulados mínimos, desde que o raciocínio seja condicionado à verdade fundamental (ground truth).