Understanding Image2Video Domain Shift in Food Segmentation: An Instance-level Analysis on Apples

Resumo Técnico: Compreendendo o Desvio de Domínio Image2Video na Segmentação de Alimentos

Título Original: Understanding Image2Video Domain Shift in Food Segmentation: An Instance-level Analysis on Apples

1. O Problema (Problem Statement)

Atualmente, os modelos de segmentação de alimentos são treinados predominantemente em conjuntos de dados de imagens estáticas (como FoodSeg103 e UECFoodPix). Embora esses modelos alcancem métricas de precisão elevadas em benchmarks de imagem, eles apresentam falhas críticas quando aplicados a fluxos de vídeo em tempo real.

O problema central identificado é o desvio de domínio "Image-to-Video". Em vídeos, a aparência dos alimentos muda continuamente devido a variações de iluminação, reflexos especulares, desfoque de movimento e oclusões parciais. Os modelos treinados apenas em imagens não possuem noção de coerência temporal, o que resulta em:

• Flickering de máscara: A segmentação oscila de forma instável entre quadros adjacentes.
• Fragmentação de identidade: Um único objeto físico é detectado como múltiplos objetos diferentes ao longo do tempo.
• Troca de identidade (ID Switching): O modelo confunde a identidade de dois objetos próximos.

O estudo destaca que as métricas convencionais (como o mIoU por quadro) são insuficientes, pois superestimam a confiabilidade do modelo ao ignorar a estabilidade temporal necessária para tarefas como contagem de instâncias.

2. Metodologia (Methodology)

Para investigar essas falhas, os autores reformularam a segmentação de vídeo como um problema de segmentação de instâncias e rastreamento (tracking-by-matching).

• Abordagem de Avaliação: Em vez de avaliar quadros isoladamente, o estudo utiliza um framework de rastreamento baseado em IoU (Intersection-over-Union) e similaridade de aparência para associar máscaras entre quadros consecutivos. Isso permite uma análise ao nível de objeto (instância).
• Foco de Estudo: Utilizaram maçãs como categoria representativa devido à sua relevância em aplicações de contagem e à sua complexidade visual (reflexos e texturas).
• Modelos Avaliados: Foram testadas três arquiteturas distintas para garantir que o problema não fosse uma limitação de um modelo específico:
  1. Baseados em CNN (ResNet).
  2. Baseados em Transformers (SegFormer).
  3. Baseados em Modelos de Fundação (Foundation Models com encoders congelados).
• Remédios Propostos: Os autores testaram soluções leves que não exigem supervisão de vídeo (anotações frame-a-frame), incluindo:
  • Regularização temporal post-hoc (suavização de predições em janelas temporais).
  • Objetivos de consistência temporal autossupervisionados durante o treinamento.

3. Principais Contribuições (Key Contributions)

1. Diagnóstico do Desvio de Domínio: Identificação de que a falha na transição de imagem para vídeo não se deve à capacidade do modelo, mas sim a objetivos de treinamento centrados na imagem que ignoram a coerência temporal.
2. Nova Perspectiva de Avaliação: Proposta de uma avaliação baseada em instâncias (rastreamento) em vez de apenas métricas de pixel (mIoU), revelando o "gap de avaliação" na literatura de segmentação de alimentos.
3. Análise de Impacto em Downstream Tasks: Demonstração de como a instabilidade temporal degrada tarefas práticas, como a contagem automática de alimentos.
4. Validação de Soluções Leves: Demonstração de que mecanismos de consistência temporal podem mitigar parte das falhas sem a necessidade de datasets de vídeo massivamente anotados.

4. Resultados (Results)

Os resultados experimentais confirmam as hipóteses dos autores:

• Discrepância de Métricas: Modelos com alto mIoU em imagens mantiveram um mIoU razoável em vídeos, mas apresentaram um número alarmante de trocas de ID (ID Switches) e fragmentações de trilha (Track Fragments).
• Erro de Contagem: Na tarefa de contagem de maçãs, a fragmentação de identidade causou um erro sistemático de supercontagem (o modelo conta a mesma maçã várias vezes porque a "perde" e a "encontra" novamente).
• Eficácia dos Remédios: A aplicação de consistência temporal autossupervisionada reduziu significativamente os erros de contagem e a fragmentação, embora não tenha eliminado totalmente o problema, reforçando que o treinamento puramente estático é o cerne da questão.

5. Significância (Significance)

Este trabalho é fundamental para o desenvolvimento de sistemas de monitoramento alimentar inteligentes (como dietas automatizadas ou processamento industrial). Ele alerta a comunidade científica de que alta precisão em imagens não garante confiabilidade em vídeos. O estudo motiva a transição de protocolos de pesquisa de "segmentação de imagem" para "segmentação de vídeo temporalmente consciente", essencial para o deploy real de modelos de visão computacional em ambientes dinâmicos.