Ingredient-Level Food Image Segmentation for Nutrition Awareness

Resumo Técnico: Segmentação de Imagens de Alimentos em Nível de Ingrediente para Consciência Nutricional

Declaração do Problema
Os sistemas atuais de reconhecimento de alimentos tratam predominantemente as imagens como tarefas de classificação, atribuindo um rótulo de prato único (ex: "salada") a uma imagem inteira. Essa abordagem obscurece a estrutura visual interna de refeições que contêm múltiplos ingredientes. Para a consciência nutricional, um rótulo único falha em distinguir a distribuição espacial de componentes como arroz, vegetais, carne ou molhos. Embora o rastreamento detalhado de calorias e macronutrientes seja frequentemente muito demorado para o uso diário, a orientação baseada visualmente no prato (semelhante ao Prato para Alimentação Saudável) oferece uma alternativa prática ao usar proporções visuais aproximadas. No entanto, as abordagens existentes de visão computacional carecem frequentemente da granularidade para separar ingredientes visíveis ao nível do pixel. Este estudo aborda o desafio da segmentação semântica em nível de ingrediente no conjunto de dados FoodSeg103, visando prever uma classe de ingrediente para cada pixel para gerar um resumo de composição visível.

Metodologia
A pesquisa foca no ajuste fino (fine-tuning) de variantes do SegFormer para o conjunto de dados FoodSeg103, que contém 4.983 imagens de treinamento e 2.135 imagens de teste reservadas, com 104 IDs de classe (incluindo o fundo/background).

• Modelos: Duas variantes foram avaliadas sob uma configuração estritamente controlada para isolar o efeito da capacidade do modelo:
  • SegFormer-B0 (MiT-B0): Um modelo de base menor.
  • SegFormer-B1 (MiT-B1): Um modelo final maior.
  • Ambos utilizam backbones Mix Transformer (MiT) pré-treinados no ImageNet com camadas de saída de 104 classes recém-inicializadas.
• Configuração de Treinamento: Ambos os modelos compartilharam hiperparâmetros e divisões de dados idênticos para garantir uma comparação justa. As configurações principais incluíram um tamanho de entrada de 512×512, um tamanho de lote (batch size) de 8, otimizador AdamW com uma taxa de aprendizado de 6e-5 e 40 épocas.
• Pré-processamento: Imagens e máscaras foram redimensionadas para 512×512. A interpolação bilinear foi usada para imagens RGB, enquanto a interpolação de vizinho mais próximo (nearest-neighbor) foi aplicada às máscaras de segmentação para preservar os IDs de classe discretos. A aumentação de dados incluiu escala aleatória, recorte (cropping), inversão horizontal e oscilação de cor (color jitter) suave.
• Avaliação: Os modelos foram selecionados com base no maior IoU médio de validação. A avaliação final foi realizada no conjunto de teste reservado na resolução original da máscara. As métricas incluíram acurácia de pixel, IoU médio, IoU médio excluindo o fundo e acurácia média de classe.
• Módulo de Área Visível: Uma etapa de pós-processamento converte as máscaras preditas em um "resumo de área de ingrediente visível". Ele calcula a porcentagem de pixels não-fundo atribuídos a cada classe de ingrediente ($P_c = \frac{N_c}{N_{food}} \times 100$), fornecendo uma visão geral de composição 2D.

Principais Contribuições

1. Pipeline Reproduzível: Estabeleceu um pipeline de ajuste fino para segmentação de nível de ingrediente no FoodSeg103 usando SegFormer.
2. Comparação Controlada: Forneceu uma comparação direta entre SegFormer-B0 e B1, demonstrando o impacto do aumento da capacidade do modelo mantendo constantes as divisões de dados, cronogramas de treinamento e código de avaliação.
3. Avaliação Abrangente: Reportou métricas do conjunto de teste reservado na resolução original da máscara, incluindo análise detalhada de IoU por classe.
4. Saída Interpretável: Desenvolveu um módulo que traduz máscaras de segmentação densas em um resumo de composição 2D legível, oferecendo uma alternativa visual ao rastreamento manual de ingredientes.

Resultados
No conjunto de teste reservado de 2.135 imagens, o SegFormer-B1 superou a base B0 em todas as métricas:

• Acurácia de Pixel: Aumentou de 0,7709 (B0) para 0,7929 (B1).
• IoU Médio: Melhorou de 0,2521 (B0) para 0,3204 (B1), um ganho absoluto de +0,0683.
• Acurácia Média de Classe: Subiu de 0,3590 para 0,4378.

Análise por Classe:

• Alto Desempenho: O modelo teve melhor desempenho em ingredientes visualmente distintos ou grandes, alcançando altos IoUs para brócolis (0,8339), milho (0,8279) e vagem (0,7829).
• Baixo Desempenho: O modelo teve dificuldades com classes raras, pequenas ou ambíguas, registrando um IoU de 0,0 para itens como tortas de ovo, pudim, chá e hambúrgueres. Isso se alinha aos desafios conhecidos na segmentação de alimentos, incluindo desequilíbrio de classes, sobreposição e variação intra-classe.
• Achados Qualitativos: Embora o B1 tenha produzido máscaras mais próximas do ground truth, ambos os modelos tiveram dificuldades com pratos mistos, regiões finas e fronteiras pouco claras.

Significância e Limitações
O artigo posiciona este trabalho como uma prova de conceito para segmentação de ingredientes e análise de composição visível, e não como um sistema completo de estimativa nutricional.

• Significância: O valor primário reside na interpretabilidade. O sistema converte predições complexas de nível de pixel em um resumo visual simples da composição da refeição (ex: "61,8% cenoura, 20,0% arroz"). Isso serve como um sinal de "primeira passagem" para a consciência nutricional, potencialmente reduzindo a necessidade de pesagem ou registro manual constante, semelhante à orientação baseada no prato.
• Modéstia das Alegações: Os autores declaram explicitamente que o sistema não é um estimador direto de calorias, macronutrientes, massa de alimentos, volume, densidade ou tamanho real da porção. Uma única imagem RGB carece de informações de profundidade e densidade.
• Limitações:
  • O estudo compara apenas duas variantes do SegFormer e não faz o benchmarking contra outras arquiteturas como FCN, DeepLabV3+, U-Net ou BEiT.
  • Os resultados não são diretamente comparáveis aos números de benchmark publicados do FoodSeg103 devido à configuração experimental específica.
  • O desempenho permanece fraco para classes raras e pequenas.
  • A saída de área visível é limitada à área da imagem 2D, o que não equivale à massa nutricional real.

Em conclusão, o estudo demonstra que o SegFormer pode ser ajustado com sucesso para segmentação de nível de ingrediente, com a variante B1 maior oferecendo melhorias mensuráveis. Embora o sistema ainda não resolva as complexidades de uma estimativa dietética completa, ele fornece uma ferramenta fundamental para visualizar a composição das refeições para apoiar a consciência nutricional.