Evaluation of LLMs in retrieving food and nutritional context for RAG systems

Este artigo avalia a eficácia de quatro Grandes Modelos de Linguagem (LLMs) em traduzir consultas em linguagem natural para filtros de metadados estruturados em um sistema RAG para dados nutricionais, concluindo que, embora sejam altamente precisos para consultas expressíveis, enfrentam desafios significativos ao lidar com restrições não representáveis no formato de metadados.

O essencial

Imagine que você tem uma biblioteca gigante de alimentos, onde cada livro contém informações detalhadas sobre milhares de comidas: desde o quanto de proteína tem um queijo até a quantidade de sódio em um biscoito. O problema é que essa biblioteca é tão grande e complexa que, para encontrar algo específico, você precisaria ser um especialista em computadores e saber a "linguagem secreta" (códigos e filtros técnicos) para pedir o livro certo.

Este artigo é sobre uma equipe de cientistas da Eslovênia que criou um robô assistente (baseado em Inteligência Artificial) para resolver esse problema. O objetivo era permitir que nutricionistas e pessoas comuns pudessem simplesmente conversar com a biblioteca, como se estivessem falando com um amigo, e receber a resposta exata.

Aqui está a explicação do funcionamento e dos resultados, usando analogias do dia a dia:

1. O Problema: A Biblioteca Confusa

Antes, se um nutricionista quisesse saber "Quais queijos têm mais de 12g de proteína?", ele teria que saber exatamente como escrever essa pergunta no sistema do computador. Se ele errasse um código, o sistema não encontrava nada. Era como tentar entrar em um clube VIP sem saber a senha correta.

2. A Solução: O Tradutor Mágico (RAG + LLM)

Os pesquisadores criaram um sistema com dois passos principais:

• O Tradutor (LLM): Imagine um tradutor superinteligente. Quando você diz "Quero queijos com muita proteína", o robô traduz essa frase simples para a "linguagem secreta" que a biblioteca entende (filtros técnicos).
• O Guardião (Banco de Dados): Uma vez que o robô traduziu a ordem, ele vai até a biblioteca, ignora todos os livros que não são de "queijos" e foca apenas naqueles que têm "muita proteína".

3. O Teste: A Prova de Fogo

Eles testaram quatro robôs famosos (chamados de Grandes Modelos de Linguagem: Gemini, GPT, Claude e Mistral) com 150 perguntas de diferentes níveis de dificuldade:

• Nível Fácil (A Caminhada no Parque): Perguntas simples como "O que tem mais de 12g de gordura?".
  • Resultado: Perfeito! Todos os robôs acertaram quase 100% das vezes. Eles traduziram a pergunta e encontraram a comida exata sem errar.
• Nível Médio (O Labirinto): Perguntas com várias regras, como "O que tem mais de 0,5g de potássio, menos de 5g de gordura e é da categoria 'Frutas'?"
  • Resultado: Excelente. Os robôs conseguiram lidar com várias regras ao mesmo tempo, funcionando muito bem.
• Nível Difícil (O Quebra-Cabeça Impossível): Perguntas que exigem raciocínio complexo, como "Quais carnes têm mais proteína do que colesterol?" ou "Some a proteína e a gordura e veja se passa de 80g".
  • Resultado: Aqui é que eles tropeçaram. Os robôs tiveram dificuldade em criar a "senha" correta para essas perguntas. A biblioteca não tinha um botão pronto para "soma de nutrientes", e o robô não conseguiu inventar uma maneira de pedir isso. A precisão caiu para cerca de 40-45%.

4. O Plano B (A Rede de Segurança)

Quando o robô não conseguia criar a "senha" perfeita para as perguntas difíceis, o sistema tinha um plano de emergência:

1. Filtro Relaxado: Em vez de tentar ser exato, o robô tentava apenas filtrar pela categoria geral (ex: "Tudo que é carne").
2. Busca por Semelhança: Se nada disso funcionasse, o robô olhava para a pergunta e dizia: "Bem, isso parece com estes livros aqui", mostrando resultados aproximados.
   Isso garantiu que o usuário nunca ficasse de mãos vazias, mesmo que a resposta não fosse 100% exata.

5. O Veredito Final

• Para o dia a dia: A tecnologia é fantástica! Se você quer filtrar alimentos por nutrientes básicos ou categorias, esse sistema funciona perfeitamente e poupa muito tempo de especialistas. É como ter um assistente pessoal que conhece cada detalhe da sua despensa.
• O limite: A tecnologia ainda não é perfeita para perguntas que exigem "matemática complexa" ou comparações estranhas dentro dos dados. Quando a pergunta sai do padrão, o robô pode se confundir.

Em resumo: Os cientistas provaram que podemos conversar com bancos de dados complexos de comida usando linguagem natural. É um grande salto para ajudar nutricionistas, mas ainda precisamos ensinar os robôs a serem melhores em resolver quebra-cabeças matemáticos complexos antes que eles sejam totalmente autônomos para todas as situações.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Avaliação de LLMs na Recuperação de Contexto Alimentar e Nutricional para Sistemas RAG

1. Problema Abordado

O volume e a complexidade crescentes de dados alimentares e nutricionais desafiam os sistemas atuais de gestão de bases de dados. Especialistas do domínio (como nutricionistas e compiladores de dados alimentares) frequentemente enfrentam dificuldades para acessar informações integradas e multidimensionais devido à falta de granularidade, interatividade e adaptação a contextos locais nas ferramentas digitais existentes. Os sistemas atuais exigem frequentemente conhecimentos técnicos para consultas complexas, criando uma barreira de entrada para profissionais não técnicos. O objetivo deste estudo é avaliar se os Modelos de Linguagem de Grande Escala (LLMs) podem atuar como uma interface acessível e de alto desempenho, traduzindo consultas em linguagem natural em filtros de metadados estruturados para recuperação eficiente em bases de dados especializadas.

2. Metodologia

Os autores desenvolveram e avaliaram um sistema Retrieval-Augmented Generation (RAG) focado na precisão da etapa de recuperação de contexto.

• Dados: A base de dados utilizada foi a Base de Dados de Composição Alimentar Eslovena (FCDB), gerida pelo sistema NutriBase. O conjunto de dados inclui mais de 32.000 itens alimentares, divididos em:
  • Alimentos de marca: Produtos comerciais com dados de macronutrientes básicos.
  • Alimentos genéricos: Produtos analisados em laboratório com dados detalhados (micronutrientes, vitaminas, etc., até 366 componentes).
• Pré-processamento: Os dados estruturados foram convertidos em descrições em linguagem natural. Para melhorar a representação semântica, o nome do grupo alimentar foi repetido em cada frase (abordagem echo embeddings). Os textos foram vetorizados usando o modelo gemini-embedding-001 (3072 dimensões) e armazenados no banco de dados vetorial Chroma.
• Arquitetura do Sistema:
  1. Geração de Filtros: Um LLM recebe a consulta em linguagem natural e gera filtros de metadados estruturados (ex: {"protein, total": {"$gt": 12}}) para restringir o espaço de busca no Chroma.
  2. Recuperação em Duas Etapas: Primeiro, aplica-se o filtro de metadados para reduzir o conjunto de candidatos. Em seguida, realiza-se uma busca de similaridade semântica apenas dentro desse subconjunto filtrado.
  3. Mecanismos de Fallback (Fallback): Se a geração do filtro falhar (sintaxe incorreta ou nomes de componentes errados), o sistema recorre a:
     • Filtragem Frouxa: Gera filtros apenas para o grupo alimentar (atributo mais distintivo).
     • Recuperação Semântica Pura: Se tudo falhar, ignora os metadados e busca apenas por similaridade vetorial global.
  4. Limiar de Similaridade: Para casos sem filtros de metadados eficazes, foi definido um limiar de distância cosseno dinâmico (baseado na média e desvio padrão das distâncias entre vetores) para determinar quais itens são relevantes.
• Modelos Avaliados: Quatro LLMs foram testados: Gemini-2.0-Flash, GPT-4o, Mistral Medium 3 e Claude-Sonnet-4.
• Avaliação: Um conjunto de teste com 150 consultas foi categorizado por dificuldade:
  • Fácil (50): 1-2 condições.
  • Médio (50): 3-4 condições com lógica aninhada e intervalos.
  • Difícil (50): Requer raciocínio comparativo ou cálculos agregados (ex: "quais alimentos têm mais proteína que colesterol?").
  • A métrica principal foi o F1-Score, calculado comparando os itens recuperados com um ground truth (resposta correta) curado manualmente.

3. Contribuições Principais

• Validação de LLMs como Tradutores de Consultas: Demonstra que LLMs não ajustados (non-finetuned) podem traduzir com alta precisão consultas em linguagem natural para filtros de metadados estruturados em bases de dados de composição alimentar.
• Estratégia de Recuperação Híbrida: Propõe e avalia uma arquitetura robusta que combina filtragem de metadados (para precisão) com busca semântica (para flexibilidade), incluindo mecanismos de fallback para lidar com falhas na geração de filtros.
• Análise de Limites de Complexidade: Identifica claramente o ponto de ruptura onde os LLMs falham: enquanto consultas simples e moderadas são resolvidas com sucesso, consultas que exigem raciocínio comparativo ou agregado (que não podem ser expressas diretamente como filtros de metadados) apresentam desafios significativos.
• Avaliação em Idioma de Baixo Recurso: O estudo foi conduzido inteiramente em esloveno, demonstrando a capacidade de modelos gerais de lidar com consultas estruturadas em idiomas com menos recursos linguísticos sem ajuste fino.

4. Resultados

• Consultas Fáceis e Médias: Todos os modelos atingiram desempenho excepcional, com F1-Score > 0.999 nas consultas fáceis e até 1.000 para Gemini e Claude nas médias. Isso confirma que, para condições explicitamente expressáveis nos metadados, a abordagem é altamente confiável.
• Consultas Difíceis: O desempenho caiu drasticamente, com F1-Scores variando entre 0.373 e 0.450.
  • O melhor resultado individual foi do Claude (0.450) com um limiar de similaridade médio.
  • O limiar mais restritivo ($\mu - \sigma$) tendeu a melhorar a robustez geral da recuperação por fallback.
  • Isso indica que, embora a recuperação exata falhe em cenários complexos, os mecanismos de fallback conseguem recuperar parcialmente os itens relevantes (cerca de 44% no melhor caso).
• Observação Técnica: Foi notado um pequeno artefato no banco de dados Chroma onde, em resultados muito grandes (milhares de itens), nem todos os itens correspondentes ao filtro eram retornados, mas isso afetou todos os modelos igualmente.

5. Significado e Conclusão

O estudo demonstra que os sistemas RAG impulsionados por LLMs são ferramentas viáveis e acessíveis para especialistas em nutrição, eliminando a necessidade de conhecimentos técnicos para consultar bases de dados complexas. A abordagem permite uma interação natural e eficiente para a maioria das consultas práticas.

No entanto, o artigo alerta que a confiabilidade do sistema é limitada pela capacidade de expressar restrições na estrutura de metadados. Quando as consultas exigem lógica que excede o formato do filtro (como comparações entre colunas ou somatórios), a precisão diminui. O trabalho sugere que o futuro desenvolvimento deve focar em:

1. Otimização de prompts e estratégias de correção de erros (inspiradas em Text-to-SQL).
2. Comparação de diferentes bancos de dados vetoriais para lidar com grandes conjuntos de resultados filtrados.
3. Avaliação contínua de novas gerações de modelos, pois o desempenho pode variar (ex: o Gemini-2.5-Pro testado preliminarmente teve desempenho inferior ao 2.0-Flash).
4. Análise de custo-benefício para escalabilidade prática.

Em suma, a tecnologia é madura para consultas estruturadas diretas, mas ainda enfrenta desafios em cenários de raciocínio complexo que exigem inferência além da filtragem simples.