DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images

Título: DietDelta: Uma Abordagem Visão-Linguagem para Avaliação Dietética via Imagens "Antes e Depois"

1. O Problema

A avaliação dietética precisa é fundamental para a nutrição de precisão, mas os métodos atuais baseados em imagens enfrentam limitações críticas:

• Dependência de Imagens Únicas: A maioria dos métodos analisa apenas a imagem do prato antes da refeição, assumindo erroneamente que toda a comida foi consumida. Isso ignora o desperdício (restos no prato) e não calcula a ingestão líquida real.
• Restrições de Hardware: Muitas abordagens exigem sensores de profundidade, múltiplas visões (multi-view) ou marcadores físicos para estimar volume, o que inviabiliza seu uso em cenários do mundo real (ex: smartphones comuns).
• Falta de Granularidade: Os sistemas existentes geralmente fornecem estimativas de nível de "refeição" (coarse), falhando na análise item a item (ex: distinguir a quantidade exata de arroz vs. frango), o que é essencial para nutrição de precisão.
• Dificuldade com Restos: Analisar imagens "depois" da refeição é complexo devido à mistura de restos e perda de estrutura visual, algo que os modelos atuais evitam.

2. Metodologia

O DietDelta propõe um framework unificado de visão-linguagem que opera em pares de imagens (antes e depois) para estimar a ingestão nutricional item a item, sem a necessidade de máscaras de segmentação rígidas.

Arquitetura e Treinamento:

• Base: Utiliza a arquitetura Vision Transformer (ViT) adaptada do modelo CLIP (ViT-L/14).
• Estratégia de Treinamento em Duas Etapas:
  1. Estimativa de Peso Absoluto (Stage 1): O modelo é treinado em grandes conjuntos de dados (Nutrition5k, FPB) com imagens apenas "antes" da refeição. O objetivo é aprender a associar consultas de texto (ex: "Qual o peso do [ARROZ]?") com as regiões visuais específicas e prever o peso absoluto.
  2. Estimativa de Diferença de Peso (Stage 2): O modelo é ajustado (fine-tuned) em um conjunto menor de pares "antes e depois" (ACE-TADA). Aqui, o modelo aprende a detectar as mudanças visuais sutis entre as duas imagens para prever diretamente a diferença de peso (o que foi consumido).

Mecanismo de Atenção Cruzada (Cross-Attention):

• Diferente de modelos que alinham imagem e texto globalmente, o DietDelta opera no nível de patches (fragmentos da imagem).
• O texto atua como uma "âncora semântica". O modelo usa cross-attention para identificar quais patches da imagem correspondem ao item alimentar mencionado no prompt de texto.
• Isso permite localizar e estimar o peso de itens específicos (ex: "frango") ignorando o fundo ou outros alimentos, sem necessidade de bounding boxes pré-definidas.

Função de Objetivo:
O modelo é otimizado com uma função de perda multi-tarefa que combina:

1. Perda de Regressão (L1): Minimiza o erro entre o peso previsto e o real (ou a diferença de peso).
2. Perda de Alinhamento Contrastivo (InfoNCE): Garante que as regiões da imagem ativadas pela atenção correspondam semanticamente ao texto de entrada.

3. Principais Contribuições

• Análise de Consumo Real: É um dos primeiros trabalhos a estimar diretamente a ingestão nutricional item a item utilizando pares de imagens "antes e depois", calculando a diferença de peso para quantificar o consumo real e não apenas o servido.
• Mecanismo Guiado por Texto: Elimina a necessidade de segmentação pixel a pixel complexa. O uso de prompts de linguagem natural permite uma análise flexível e precisa de itens específicos.
• Independência de Hardware: O método funciona com uma única imagem RGB, eliminando a necessidade de sensores de profundidade ou múltiplas câmeras.
• Benchmark Sólido: Estabelece uma nova linha de base forte para a análise de imagens dietéticas antes e depois, superando métodos tradicionais e modelos de linguagem visual (VLMs) gerais.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados públicos: Nutrition5k, Food Portion Benchmark (FPB) e ACE-TADA.

• Estimativa de Peso Absoluto:

  • O DietDelta alcançou uma PMAE (Erro Médio Absoluto Percentual) média de 14,42%, superando significativamente os baselines existentes.
  • Comparado ao melhor método anterior (RGB), o erro foi reduzido em mais de 50%.
  • Superou modelos grandes de Visão-Linguagem (VLMs) como Gemini 2.5 Pro e Gemma 3, que sofrem com alta latência e falta de precisão métrica.

• Estimativa de Diferença de Peso (Consumo):

  • No conjunto de dados ACE-TADA (imagens antes/depois), o DietDelta obteve um PMAE de 14,17%.
  • Métodos tradicionais (que somam previsões independentes de "antes" e "depois") falharam catastroficamente (PMAE > 54%) devido à acumulação de erros geométricos.
  • VLMs comerciais tiveram desempenho moderado (~39% PMAE), mostrando dificuldade em manter consistência métrica entre dois estados visuais distintos.

• Análise Qualitativa:

  • Mapas de calor de atenção mostram que o modelo localiza com precisão os itens alimentares específicos solicitados pelo texto, ignorando fundos e itens adjacentes.
  • O modelo demonstra robustez tanto para alimentos sólidos quanto para alimentos amorfos (ex: purê, curry), onde a geometria é indefinida.

5. Significado e Impacto

O DietDelta representa um avanço significativo para a nutrição de precisão. Ao permitir a quantificação precisa do que foi realmente consumido (e não apenas o que foi servido) usando apenas um smartphone, o método remove barreiras técnicas e de hardware que impediam a adoção em larga escala.

A capacidade de operar em tempo real e em dispositivos com recursos limitados (como smartphones e óculos inteligentes) abre caminho para o monitoramento dietético ubíquo, facilitando o rastreamento de calorias e a gestão de doenças crônicas (como diabetes e obesidade) de forma mais acessível e precisa.