Resumo Técnico: Fissuras na Fundação (CiF)

Declaração do Problema

A monitorização automática da saúde estrutural é crítica para prevenir falhas catastróficas na infraestrutura, contudo, o progresso neste domínio é severamente impedido por dois fatores primários: escassez extrema de dados e limitações algorítmicas específicas aos contextos de engenharia civil.

1. Escassez de Dados: A segmentação de defeitos a nível de pixel de alta qualidade requer anotação especializada para distinguir a deterioração microscópica de sombras inofensivas, tornando o crowdsourcing impraticável. Consequentemente, os conjuntos de dados existentes são pequenos, de baixa resolução ou restritos à classificação e segmentação semântica, em vez de segmentação de instâncias.
2. Obstáculos Algorítmicos: Os materiais da infraestrutura civil (por exemplo, betão) são frequentemente monocromáticos e planos, forçando os modelos a depender da forma em vez da textura — uma fraqueza conhecida da aprendizagem profunda. Além disso, defeitos como fissuras são estruturas finas e altamente não convexas que conflituam com o "viés central" inerente a muitas arquiteturas modernas.
3. A Ilusão do Zero-Shot: Apesar do advento de Modelos de Fundação (FMs) promptáveis e Modelos Visão-Linguagem (VLMs) treinados em conjuntos de dados massivos raspados da internet (por exemplo, COCO, LAION), existe uma suposição não comprovada de que a compreensão densa de imagens está resolvida. O artigo postula que estes modelos falham em generalizar para a escala e variações de características específicas exigidas para a inspeção de infraestrutura.

Metodologia e Construção do Conjunto de Dados

Os autores introduzem Fissuras na Fundação (CiF), um conjunto de dados curado ao longo de cinco anos através da colaboração entre investigadores de IA e especialistas em engenharia civil (incluindo parceiros como Sund & Bælt e Trafikverket).

Aquisição de Dados

O conjunto de dados compreende aproximadamente 150.000 imagens de alta resolução (resolução nativa média: 16,66 MPx) capturadas em infraestrutura civil europeia, principalmente pontes. A estratégia de aquisição emprega uma abordagem híbrida:

• Dados "In-the-Wild" (26%): Coletados durante inspeções rotineiras utilizando câmaras de nível consumidor e industriais, capturando alta variabilidade em iluminação, condições meteorológicas e ponto de vista.
• Configurações de Inspeção Controlada: Aquisições assistidas por drones utilizando dois modos:
  • Configuração de Varredura: Drones voam paralelos às superfícies para cobertura em grande escala com registo GPS/RTK.
  • Configuração de Alta Resolução: Drones pairam estacionários para capturar grelhas estruturadas de imagens ampliadas, permitindo a reconstrução em mosaico de áreas localizadas.

Anotação e Classes

• Anotação a Nível de Instância: Todos os defeitos são anotados como máscaras poligonais na resolução nativa, preservando detalhes de alta granularidade (por exemplo, fissuras capilares com alguns pixels de largura) juntamente com defeitos grandes.
• Classes: Seis categorias foram definidas com especialistas do domínio:
  1. Fissura: Descontinuidades lineares.
  2. Fissura em Rede: Padrões poligonais interligados (fissuração tipo jacaré/mapa).
  3. Fissura com Precipitação: Fissuras com depósitos minerais (eflorescência).
  4. Descamação: Descolamento do material superficial.
  5. Ferrugem: Oxidação da armadura de aço.
  6. Algas: Crescimento biológico na superfície.
• Controlo de Qualidade: Um pipeline rigoroso envolvendo fases piloto, processamento em lote e um sistema de QA de duas passagens (interno do fornecedor + verificação pontual interna) garante a precisão dos rótulos. Amostras ambíguas são triadas com especialistas para refinar as diretrizes.

Variantes do Conjunto de Dados

• Variante Completa: 12.896 imagens nativas de alta resolução (média de 16,66 MPx).
• Variante em Ladrilhos: 148.642 patches (1024×1024) derivados da Variante Completa, adequados para backbones de visão padrão.

Avaliação e Resultados

Os autores avaliaram tanto as linhas de base supervisionadas como os Modelos de Fundação zero-shot no conjunto de dados CiF.

Linhas de Base Supervisionadas

Modelos state-of-the-art (YOLOv11/v26, Mask DINO, RF-DETR, EoMT) foram totalmente ajustados (fine-tuned) na divisão de treino.

• Detecção de Objetos: Os modelos alcançaram sucesso moderado, com mAP@50:95 de caixas delimitadoras atingindo aproximadamente 35%. O desempenho foi forte para defeitos de alto contraste como Algas (~59% mAP), mas caiu significativamente para defeitos estruturais complexos como Fissuras em Rede e Fissuras com Precipitação (20–30% mAP).
• Segmentação de Instâncias: O desempenho degradou drasticamente. O mAP de máscara para defeitos de alta granularidade (por exemplo, fissuras) caiu para dígito único. O melhor modelo (EoMT com um backbone DINOv3) estabilizou em aproximadamente 25% mAP para tarefas de segmentação.

Avaliação de Modelo de Fundação (Zero-Shot)

O artigo testou modelos promptáveis (SAM3) e Modelos Visão-Linguagem (Qwen3-VL) sem ajuste fino.

• Falha Zero-Shot: O Qwen3-VL (até 235B parâmetros) alcançou um mAP médio de caixas delimitadoras de apenas 2,4%, falhando em identificar anomalias estruturais.
• Limitações Promptáveis: Mesmo o SAM3, quando fornecido com caixas delimitadoras de "verdade fundamental" (oracle) ou prompts de ponto, lutou com defeitos de alta granularidade. Para a classe "Fissura", o SAM3 com 5 pontos oracle alcançou apenas 33,9% mAP, e com prompts de texto, o desempenho foi negligenciável.
• Conclusão: Os FMs atuais carecem dos priores específicos exigidos para a segmentação de defeitos em infraestrutura civil.

Contribuições Principais

1. Conjunto de Dados CiF: O maior e mais detalhado conjunto de dados de segmentação de instâncias de infraestrutura civil até à data, apresentando ~150k imagens de alta resolução e ~250k máscaras de alta granularidade.
2. Benchmarking: Uma análise rigorosa que expõe as limitações da IA visual atual. O conjunto de dados serve como um benchmark onde até modelos especializados com supervisão de domínio estabilizam em ~25% mAP, e os FMs zero-shot falham quase totalmente.
3. Identificação de um Ponto Cego: O artigo demonstra que a compreensão densa de imagens no ambiente construído é um problema não resolvido, desafiando o paradigma de que o pré-treinamento em escala de internet é suficiente para domínios especializados e críticos para a segurança.

Significado e Alegações

O artigo afirma que CiF estabelece a inspeção de infraestrutura civil como um desafio aberto e fundamental para a IA visual contemporânea. Os autores argumentam que o atual "paradigma de modelo de fundação", treinado predominantemente em imagens da internet, contém "fissuras" quando aplicado à infraestrutura do mundo real.

O significado não reside na implementação imediata de uma solução perfeita, mas na exposição de uma lacuna crítica:

• A monitorização automática da saúde estrutural ainda não está resolvida pelos modelos SOTA atuais.
• O domínio exige uma mudança de depender exclusivamente de pré-treinamento em grande escala para desenvolver arquiteturas capazes de lidar com raciocínio baseado em forma, variações extremas de escala e ambientes de baixa textura.
• Ao disponibilizar este conjunto de dados como código aberto, os autores visam fomentar o desenvolvimento de IA visual capaz de salvaguardar genuinamente o ambiente físico, indo além da "ilusão" da generalização zero-shot.

O artigo mantém-se modesto quanto a soluções futuras, notando que, embora escalar conjuntos de dados ainda mais possa ajudar, as causas raiz destas falhas (arquiteturais vs. baseadas em dados) permanecem uma questão em aberto, e o custo económico atual de adquirir tais conjuntos de dados massivos e anotados por especialistas é proibitivo.