Resumo Técnico: Repensando a Inspeção de Infraestrutura como Classificação de Diferença de Imagem

Declaração do Problema

A manutenção da infraestrutura rodoviária baseia-se tradicionalmente em inspeções visuais manuais, um processo que o framework de Gêmeo Digital (DT) Rodoviário visa digitalizar. No entanto, a adoção da inspeção impulsionada por IA é significativamente dificultada pela escassez de dados anotados, um desafio comum nos campos de Arquitetura, Engenharia e Construção (AEC). As abordagens existentes para a manutenção de sinais de trânsito frequentemente sofrem de duas limitações críticas:

1. Limitações de Conjunto de Dados: Muitos conjuntos de dados existentes contêm apenas close-ups das faces dos sinais (carecendo de postes e fundos) ou utilizam rotulagem de condição grosseira (ex: binária danificado/indamificado ou tipos de defeitos únicos). Nenhum deles suporta atualmente o rastreamento de condição ao longo do tempo usando imagens pareadas.
2. Limitações de Modelagem de Tarefa: Os métodos atuais tipicamente tratam a identificação de defeitos como tarefas de classificação de imagem única. Eles falham em modelar a natureza relacional do monitoramento contínuo de ativos, onde uma imagem de inspeção é comparada contra uma referência histórica do mesmo ativo. Além disso, eles frequentemente ignoram a realidade multi-classe e multi-rótulo, onde múltiplos defeitos ocorrem simultaneamente.

Metodologia

Este trabalho reformula a identificação de defeitos como uma tarefa de Classificação de Diferença de Imagem (IDC - Image Difference Classification). Em vez de classificar uma única imagem isoladamente, o sistema compara uma imagem de inspeção contra uma imagem de referência do mesmo ativo tirada anteriormente. Esta abordagem aproveita as imagens de ativos existentes nos sistemas de gestão de ativos rodoviários (AMS) como referências, reduzindo a necessidade de anotações adicionais.

Conjunto de Dados

Os autores curaram um novo conjunto de dados de alta qualidade a partir do AMS da National Highways do Reino Unido, abordando lacunas anteriores:

• Escopo: Contém 9,70 pares de imagens (referência + inspeção) capturando o contexto total do ativo (face do sinal, poste e fundo).
• Granularidade: Apresenta anotações multi-rótulo de grão fino através de nove categorias de condição (ex: poste inclinado, face deformada, vandalismo, sujeira) além de uma flag de "sem defeito".
• Equilíbrio: Embora exista desequilíbrio de classes entre tipos específicos de defeitos, o conjunto de dados mantém um equilíbrio entre sinais danificados e não danificados (~4:6).

Configuração Experimental

O estudo avaliou duas tarefas: detecção de presença de defeito binário e classificação de defeito multi-classe multi-rótulo.

• Simulação de Baixo Recurso: O desempenho foi testado sob condições de aprendizado few-shot (0 a 8 exemplos por classe) para simular ambientes com restrição de dados.
• Arquiteturas de Pipeline:
  • Pipelines Baseados em Encoder: Quatro variações usando encoders de visão (MetaCLIP2 como backbone). Estas incluíram classificadores lineares em embeddings concatenados, mecanismos de atenção cruzada entre imagens e arquiteturas de fusão imagem-texto.
  • Pipelines Baseados em Instrução: Utilizou modelos de linguagem de visão (VLMs), especificamente o Qwen3-VL-8B. As imagens de inspeção e de referência foram inseridas em prompts de usuário com instruções para usar a referência como guia, enquanto descrições textuais de classes foram fornecidas em prompts de sistema.
• Controle: Para garantir uma comparação justa, todos os pipelines usaram as mesmas imagens de treinamento. As imagens de referência no conjunto de treinamento foram tratadas como exemplos pseudo "sem defeito" para todos os modelos, garantindo que os ganhos de desempenho fossem devidos ao contexto da referência durante a inferência, e não a um aumento artificial no volume de dados de treinamento.

Principais Resultados

1. Detecção de Presença de Defeito

• Desempenho: A maioria dos pipelines alcançou altos escores F1 (~0,9) mesmo com pouquíssimos exemplos, pois a detecção binária é uma tarefa mais simples.
• Utilidade da Referência: Os pipelines baseados em encoder mostraram resultados inconsistentes ao adicionar imagens de referência, muitas vezes performando pior do que os baselines de imagem única. Em contraste, o pipeline baseado em instrução superou consistentemente todos os modelos baseados em encoder, alcançando F1 > 0,9 com apenas 1-shot.
• Calibração: Modelos de instrução não treinados (0-shot) performaram mal (F1 ~0,007), classificando quase todas as imagens como defeituosas. No entanto, o ajuste fino (fine-tuning) em apenas um exemplo por classe "calibrou" o modelo, elevando o desempenho para 0,905.

2. Classificação de Defeito (Multi-classe Multi-rótulo)

• Complexidade: Os escores foram globalmente menores devido à complexidade da tarefa. Os pipelines baseados em encoder tiveram dificuldade em ultrapassar F1 de 0,5, enquanto o pipeline baseado em instrução atingiu pouco mais de 0,6.
• Utilidade da Referência: O pipeline baseado em instrução ganhou consistentemente com a inclusão de imagens de referência em todas as configurações de shots (ganhos variando de +0,008 a +0,038). Notavelmente, seu desempenho de 1-shot excedeu o desempenho de 8-shot dos pipelines baseados em encoder.
• Significância Estatística: Um teste t pareado confirmou que os ganhos das imagens de referência no pipeline baseado em instrução foram estatisticamente significativos nas configurações de 1-shot e 8-shot (p < 0,01), embora menos significativos em 2 e 4 shots devido à instabilidade do few-shot.

3. Estudos de Ablação

• Tamanho do Modelo: Aumentar o tamanho do backbone do encoder de 2B (MetaCLIP2) para 7B (DINOv3) não reduziu a lacuna de desempenho. O modelo baseado em instrução (8B) ainda superou o encoder maior, sugerindo que a contagem de parâmetros não é o único determinante do sucesso.
• Pseudo Defeitos: Remover a estratégia de treinamento de "pseudo sem defeito" do pipeline baseado em instrução ainda resultou em ganhos de desempenho sobre os baselines de imagem única, confirmando a robustez da abordagem IDC.

Significância e Alegações

O artigo afirma que a Classificação de Diferença de Imagem (IDC) é uma estratégia de modelagem de tarefa eficaz para a inspeção contínua de infraestrutura e atualização de condição de ativos de DT Rodoviário. As principais contribuições são:

1. Eficiência de Dados: A IDC permite a utilização de imagens históricas de ativos existentes como referências, reduzando a dependência de grandes conjuntos de dados recém-anotados.
2. Formulação de Tarefa: Ela aborda com sucesso a natureza multi-classe e multi-rótulo de defeitos do mundo real e o aspecto temporal do rastreamento de condição.
3. Arquitetura de Modelo: O estudo demonstra que VLMs baseados em instrução são superiores aos modelos baseados em encoder para esta tarefa específica, desde que passem por um passo mínimo de ajuste fino de "calibração" (tão pouco, um exemplo por classe).

Os autores concluem que, embora o aprendizado few-shot introduza alguma instabilidade, a capacidade dos classificadores baseados em instrução de alavancar imagens de referência para uma classificação fundamentada torna a IDC uma solução viável para o monitoramento de infraestrutura com restrição de dados. Sugere-se como trabalho futuro testar conjuntos de dados maiores para estabilizar as flutuações de few-shot e explorar o uso de múltiplas imagens de referência por sinal.