DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images

1. El Problema

La evaluación dietética precisa es fundamental para la nutrición de precisión, pero los métodos actuales basados en imágenes presentan limitaciones críticas:

• Dependencia de una sola imagen: La mayoría de los sistemas analizan solo la imagen "antes de comer", asumiendo implícitamente que todo lo servido fue consumido. Esto ignora el desperdicio de comida (sobras en el plato) y no calcula la ingesta neta real.
• Falta de granularidad: Los métodos existentes suelen proporcionar estimaciones a nivel de plato (coarse), en lugar de un análisis por ítem de comida específico, necesario para una nutrición precisa.
• Requisitos de entrada restrictivos: Muchas soluciones dependen de hardware especializado (sensores de profundidad, cámaras 3D) o múltiples vistas, lo que limita su aplicabilidad en escenarios del mundo real.
• Dificultad geométrica: Estimar el volumen y el peso a partir de una sola imagen 2D es un problema mal planteado (ill-posed), especialmente cuando la comida está parcialmente consumida o mezclada.

2. Metodología

Los autores proponen DietDelta, un marco unificado multimodal que utiliza pares de imágenes "antes y después" de la comida junto con lenguaje natural para realizar un análisis nutricional a nivel de ítem.

• Arquitectura Base: Se basa en Vision Transformers (ViT) y utiliza CLIP (ViT-L/14) como backbone. A diferencia de modelos como CLIP estándar que alinean representaciones a nivel de imagen global, DietDelta opera a nivel de parches (patch-level).
• Mecanismo de Atención Guiada por Texto:
  • Utiliza prompts de texto (ej. "¿Cuál es el peso de [COMIDA] en esta imagen?") para localizar regiones específicas de la imagen.
  • Emplea un mecanismo de atención cruzada (cross-attention) modificado donde las incrustaciones de texto actúan como Query (Q) y los parches de imagen como Keys (K) y Values (V). Esto permite al modelo identificar y ponderar los parches visuales relevantes para el ítem solicitado, ignorando el fondo y otros alimentos.
• Estrategia de Entrenamiento en Dos Etapas:
  1. Estimación de Peso Absoluto (Stage 1): Entrenada en grandes conjuntos de datos (Nutrition5k, FPB) con imágenes solo "antes de comer". El modelo aprende a asociar consultas de texto con regiones visuales y predecir el peso total de un ítem.
  2. Estimación de Diferencia de Peso (Stage 2): Ajuste fino (fine-tuning) en un conjunto de datos más pequeño con pares "antes y después" (ACE-TADA). El modelo aprende a predecir la diferencia visual (y por tanto de peso) entre las dos imágenes para calcular el consumo neto.
• Función de Pérdida: Combina una pérdida de regresión (L1) para minimizar el error de peso y una pérdida de alineación contrastiva (InfoNCE) para asegurar que los parches atendidos correspondan semánticamente al texto.

3. Contribuciones Clave

• Primera aproximación directa a la ingesta neta: Es uno de los primeros trabajos que estima el consumo nutricional a nivel de ítem utilizando pares de imágenes antes/después, en lugar de solo estimar el tamaño de la porción servida.
• Localización sin segmentación explícita: Introduce un mecanismo de atención guiado por texto que elimina la necesidad de máscaras de segmentación pixel a pixel o definiciones de clases rígidas, permitiendo un análisis flexible.
• Marco de dos etapas robusto: Propone una estrategia de entrenamiento que transfiere conocimiento de grandes conjuntos de datos de peso absoluto a la tarea más difícil de estimar diferencias de consumo.
• Establecimiento de un nuevo estándar: Crea una línea base sólida para el análisis de imágenes de consumo en el campo de la nutrición de precisión.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos públicos: Nutrition5k, Food Portion Benchmark (FPB) y ACE-TADA.

• Estimación de Peso Absoluto: DietDelta superó consistentemente a todos los baselines, incluyendo regresores tradicionales (RGB, RGB-D), modelos Swin, y Grandes Modelos de Visión y Lenguaje (VLMs) como Gemini 2.5 Pro y Gemma 3.
  • Logró un PMAE (Error Porcentual Absoluto Medio) de 14.42% en promedio, reduciendo el error en más del 50% comparado con el mejor baseline (RGB).
• Estimación de Diferencia de Peso (Consumo): En la tarea de calcular cuánto se comió realmente (diferencia entre antes y después):
  • DietDelta obtuvo un PMAE de 14.17%.
  • Los métodos basados en VLMs tuvieron un rendimiento pobre (~39% PMAE) debido a su incapacidad para mantener consistencia métrica entre dos estados visuales distintos.
  • Los predictores de diferencia RGB fallaron catastróficamente (54.21% PMAE) al acumular errores geométricos.
• Análisis de Eficacia:
  • La fusión de texto e imagen demostró ser crucial; usar solo imágenes o solo texto resultó en errores significativamente mayores.
  • El modelo mostró alta precisión tanto en alimentos sólidos como amorfos (ej. puré, curry), validando la capacidad de la atención guiada por texto para manejar geometrías complejas.

5. Significado e Impacto

DietDelta representa un avance significativo hacia la monitorización dietética ubicua y precisa.

• Superación de limitaciones actuales: Al no requerir hardware especializado y al calcular el consumo real (no solo lo servido), resuelve problemas fundamentales de los sistemas actuales.
• Viabilidad en dispositivos reales: La arquitectura es eficiente y está diseñada para ser desplegada en dispositivos con recursos limitados (como teléfonos inteligentes o gafas inteligentes), lo que podría permitir el seguimiento calórico en tiempo real en el mundo real.
• Hacia la nutrición de precisión: Al proporcionar datos de ingesta a nivel de ítem y con alta precisión, habilita aplicaciones clínicas y de salud personal que antes eran imposibles debido a la falta de datos fiables.