OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion

1. Problema e Motivação

A estimativa precisa de nutrição alimentar é crucial para a gestão de saúde e prevenção de doenças crônicas. No entanto, o estado da arte enfrenta duas limitações fundamentais:

• Limitação de Dados: A maioria dos conjuntos de dados existentes foca em culinária ocidental, com pouca representação de pratos chineses complexos. Além disso, muitos carecem de anotações nutricionais detalhadas ou de dados multimodais completos (como ingredientes brutos, receitas e vídeos de cozimento).
• Limitação Algorítmica: Métodos avançados frequentemente dependem de sensores de profundidade (câmeras RGB-D) para estimar volume e massa. Isso limita sua aplicabilidade no mundo real, onde as fotos são tiradas predominantemente com câmeras RGB convencionais de smartphones.

O objetivo deste trabalho é superar essas barreiras criando um novo conjunto de dados focado em pratos chineses e propondo um framework end-to-end que estima nutrição a partir de uma única imagem RGB, sem necessidade de sensores de profundidade dedicados.

2. Contribuições Principais

A. OmniFood8K (Conjunto de Dados)

Os autores introduzem o OmniFood8K, um conjunto de dados multimodal abrangente com 8.036 amostras de alimentos. Suas características distintivas incluem:

• Cobertura Completa do Processo: Dados que cobrem desde ingredientes brutos (com peso registrado), descrições de receitas estruturadas, vídeos de cozimento completos até imagens de pratos finais em múltiplas visões (6 ângulos).
• Foco em Culinária Chinesa: Preenche a lacuna de dados para pratos complexos e variados da culinária chinesa.
• Anotações Precisas: As informações nutricionais (calorias, proteínas, gorduras, carboidratos) são calculadas com base em medições reais de peso e bancos de dados nutricionais padronizados, evitando viés de anotação automática.
• NutritionSynth-115K: Um conjunto de dados sintético em larga escala (115.000 imagens) gerado a partir do OmniFood8K, que introduz variações composicionais mantendo rótulos nutricionais precisos para treinamento e pré-treinamento.

B. Framework de Estimativa (Método)

Propõe-se um framework end-to-end que prevê informações nutricionais diretamente de uma única imagem RGB, utilizando os seguintes módulos inovadores:

1. Estimativa e Refinamento de Profundidade (SSRA):

   • Como a imagem de entrada é apenas RGB, um modelo de estimativa de profundidade monoculares (pre-treinado) é usado para inferir o mapa de profundidade.
   • Para corrigir erros de escala e distorções locais, foi proposto o Scale-Shift Residual Adapter (SSRA). Este módulo ajusta globalmente a profundidade (usando fatores de escala e deslocamento) e refina localmente a estrutura através de um módulo residual, garantindo consistência geométrica.

2. Fusão Alinhada em Frequência (FAFM):

   • O Frequency-Aligned Fusion Module (FAFM) funde hierarquicamente as características da imagem RGB e do mapa de profundidade refinado no domínio da frequência.
   • Utilizando a Transformada Rápida de Fourier (FFT), o módulo separa componentes de baixa frequência (estrutura global) e alta frequência (detalhes texturais).
   • A fusão ocorre separadamente para essas frequências, preservando tanto a estrutura macro quanto os detalhes micro, enquanto uma perda de alinhamento inter-modal garante consistência semântica entre os modos.

3. Cabeça de Predição Baseada em Máscara (MPH):

   • O Mask-based Prediction Head (MPH) utiliza seleção dinâmica de canais e atenção baseada em regiões para focar nos ingredientes-chave.
   • Ele emprega mecanismos de Cross-Attention e fusão em gated para reponderar as características, destacando as regiões mais informativas para a previsão nutricional.

3. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados OmniFood8K e Nutrition5k, avaliando o desempenho através do Erro Absoluto Médio Percentual (PMAE).

• Desempenho no OmniFood8K: O método proposto alcançou o melhor desempenho entre todas as linhas de base (incluindo ResNet, Swin Transformer, EfficientNet, etc.), obtendo um PMAE médio de 8.6%, superando significativamente os métodos anteriores.
• Desempenho no Nutrition5k: Mesmo competindo contra métodos que utilizam entradas RGB-D (com sensores de profundidade reais), o método proposto (usando apenas RGB) obteve resultados superiores, com um PMAE médio de 16.5%, demonstrando robustez e generalização.
• Estudo de Ablação: A remoção de qualquer um dos módulos (SSRA, FAFM ou MPH) resultou em queda de desempenho, confirmando a eficácia de cada componente.
• Pré-treinamento Sintético: O uso do conjunto sintético NutritionSynth-115K para pré-treinamento melhorou ainda mais a precisão no OmniFood8K, reduzindo o PMAE médio para 7.8%.

4. Significado e Impacto

Este trabalho representa um avanço significativo na computação alimentar e na saúde digital:

• Acessibilidade: Ao eliminar a dependência de sensores de profundidade caros, o método torna a estimativa nutricional viável para aplicações cotidianas em smartphones.
• Diversidade Cultural: O OmniFood8K resolve o viés ocidental nos dados, permitindo modelos mais precisos para a culinária chinesa e, por extensão, para dietas complexas e variadas globalmente.
• Inovação Técnica: A abordagem de fusão no domínio da frequência (FAFM) e o refinamento de profundidade monoculares (SSRA) oferecem novas direções para tarefas de visão computacional que exigem compreensão 3D a partir de imagens 2D.
• Aplicabilidade Prática: O framework end-to-end e o conjunto de dados rico em anotações facilitam o desenvolvimento de sistemas de monitoramento nutricional personalizados e assistentes de saúde mais inteligentes.

Em resumo, o artigo apresenta uma solução robusta e escalável para a estimativa de nutrição, combinando um novo padrão de dados de alta qualidade com uma arquitetura de rede neural inovadora que supera as limitações de hardware e de dados dos métodos atuais.