Resumo Técnico: Coleta de Dados de Ingredientes e Receitas de LLM com Suporte Estatístico

1. Declaração do Problema

Sistemas de nutrição computacional requerem dados de ingredientes precisos, estruturados e internamente consistentes para funcionar de forma eficaz. No entanto, as bases de dados nutricionais existentes são frequentemente incompletas, inconsistentes entre diferentes fontes e estruturadas para navegação humana, em vez de raciocínio automatizado. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial para escalar a coleta de dados, eles apresentam um desafio crítico de confiabilidade: saídas de passagem única de LLMs podem introduzir "erros silenciosos" (valores afirmados com confiança, mas incorretos) que corrompem computações subsequentes.

Simplesmente tirar a média de saídas repetidas de um LLM é insuficiente porque os erros do mesmo modelo são correlacionados devido a parâmetros compartilhados e distribuições de treinamento, em vez de serem independentes. Além disso, pedir que um modelo se autocorrija frequentemente resulta em registros numericamente consistentes, mas sem fundamentação factual. O problema central é como construir um banco de dados de ingredientes de grande escala e alta qualidade usando LLMs, gerenciando a incerteza, garantindo a consistência interna e fundamentando os valores em evidências externas sem descartar a utilidade dos modelos generativos.

2. Metodologia

Os autores propõem um pipeline de LLM controlado por qualidade que trata a caracterização de ingredientes como uma tarefa de engenharia de dados separada do raciocínio nutricional. O pipeline integra três camadas distintas: estimativa estatística, verificação de invariantes e reparo baseado em evidências.

2.1. Estimativa Estatística via Amostragem Repetida

Em vez de consultas de tiro único, o pipeline trata consultas repetidas de LLM como amostras de uma distribuição de respostas induzida pelo modelo. A abordagem varia conforme o tipo de dado:

• Valores Numéricos (ex: proporções de nutrientes, custo): O ponto de estimativa é a mediana, e a confiança é medida usando o Desvio Absoluto da Mediana (MAD). Um coeficiente de variação robusto ($CV_{robust}$) é convertido em uma pontuação de confiança normalizada ($C_n$).
• Valores Booleanos (ex: flags de nutrientes): O ponto de estimativa é o voto da maioria, com a confiança normalizada contra uma linha de base de chance de 0,5.
• Múltipla Escolha e Categórico Aberto (ex: unidades de quantidade de referência): O ponto de estimativa é a moda. Para valores categóricos abertos (magnitude ilimitada + unidade fixa), a confiança é a proporção modal bruta, pois o acordo coincidente em um espaço ilimitado é altamente informativo.
• Inteiros Opcionais (ex: Índice Glicêmico): Um processo de duas etapas primeiro determina a aplicabilidade (voto Booleano), depois estima o valor (mediana), se aplicável.

Um critério de parada ($C \geq \tau$, onde $\tau=0,90$) determina quando um campo é considerado estável. Se um campo falhar em convergir dentro de um orçamento de consulta ($n_{max}=20$), ele é encaminhado para um mecanismo de contingência.

2.2. Verificação de Invariantes e Reparo

Uma vez estimados os campos, uma camada de invariantes impõe restrições lógicas específicas do domínio:

• Balanceamento de Árvore: Hierarquias de nutrientes devem satisfazer restrições de soma (ex: a soma dos nutrientes filhos deve ser igual ao pai). Desequilíbrios numéricos menores são resolvidos via uma formulação de programação linear (LP) que minimiza o pior caso de desvio percentual enquanto preserva "zeros semânticos" (valores que são verdadeiramente ausentes).
• Consistência Semântica: Verificações garantem coerência lógica (ex: uma flag de "isento de álcool" deve estar alinhada com uma proporção de álcool zero).
• Estratégia de Reparo: Se os invariantes forem violados, o sistema não depende apenas de autocorreção. Em vez disso, ele aciona um fallback de busca na web para recuperar evidências externas frescas. Somente se o reparo baseado na web falhar é que o registro é escalado para revisão humana.

2.3. Modelagem do Escopo de Coleta de Dados

Os autores aplicam a Lei de Heap para modelar a relação entre o número de receitas e o número de ingredientes únicos necessários. Ajustando dados de 233 receitas, eles projetam que o crescimento de ingredientes únicos é sublinear ($\beta \approx 0,42$). Isso implica que a coleta de dados é "front-loaded": a razão de ingredientes únicos para receitas cai significativamente conforme o banco de dados cresce (de 1,74 em 100 receitas para 0,19 em 5.000 receitas), sugerindo que o custo de adicionar novas receitas diminui à medida que o banco de dados de ingredientes amadurece.

3. Principais Contribuições

• Um Pipeline Separado: O trabalho introduz uma metodologia que separa a elicitação (amostragem estatística) da validação (verificação de invariantes e fundamentação externa), evitando as armadil-das loops de autocorreção.
• Estrutura Estatística Robusta: Adapta estatísticas robustas (MAD, mediana, moda) às saídas de LLM, tratando a dispersão como um portão de confiança em vez de uma estratégia de agregação direta.
• Reparo Baseado em Evidências: O sistema prioriza evidências externas da web sobre a autocorreção do modelo ao resolver contradições lógicas ou numéricas.
• Validação Empírica: O pipeline é avaliado contra um conjunto de referência curado de 30 ingredientes, comparando-o tanto com uma linha de base ingênua de um único passo quanto com a simples agregação de amostras repetidas.

4. Resultados

Avaliado em um conjunto de referência de 30 ingredientes (cobrindo itens básicos, alimentos transformados e ingredientes incomuns):

• Precisão (Proporções de Nutrientes): O pipeline completo alcançou um Erro Percentual Absoluto (APE) mediano de 10,1%. Isso representa uma melhoria significativa em relação à linha de base de agregação da mediana (31,9% APE) e à linha de base ingênua de um único passo (38,0% APE), reduzindo o erro em 21,8 pontos percentuais.
• Precisão (Flags de Nutrientes): O pipeline alcançou 98,4% de correspondência exata em flags de nutrientes, comparável à linha de base ingênua (95,9%), indicando que as flags já estão próximas do teto de desempenho para LLMs.
• Cobertura: O pipeline alcançou 100% de cobertura para flags de nutrientes e 62,7% para proporções de nutrientes (vs. 45,0% para o conjunto de referência manual). Notavelmente, 42,1% dos pares de proporções do pipeline careciam de um valor de referência defensável no conjunto manual, destacando a capacidade do pipeline de trazer à tona dados onde a pesquisa manual é escassa, embora estes requeiram adjudicação.
• Custo: O pipeline incorreu em aproximadamente $1,00 por ingrediente (mediana de 4m 50s de tempo de execução). Embora seja cerca de 7x mais caro que uma abordagem ingênua de um único passo ($0,14/ingrediente), os autores argumentam que esse custo é amortizado em todo o espaço de receitas devido à natureza front-loaded da coleta de dados de ingredientes.

5. Significância e Alegações

O artigo enquadra a construção de bancos de dados assistida por LLM não como uma tarefa de geração, mas como um fluxo de trabalho de engenharia de dados controlado. Sua principal significância reside em tornar a incerteza "operacional" em vez de descartá-la.

• Gerenciamento de Incerteza: Os autores afirmam que tratar as saídas de LLM como estimativas incertas que requerem validação em estágios (amostragem, pontuação de confiança, verificação de invariantes) produz dados de qualidade materialmente superior do que a coleta ingênua.
• Limitações do Consenso: O estudo demonstra que a simples agregação de amostras repetidas de LLM (média ou mediana) não reproduz a precisão do pipeline completo, sugerindo que o consenso sozinho não pode superar erros correlacionados do modelo sem fundamentação externa.
• Alegações Modestas sobre a Verdade: Os autores afirmam explicitamente que o pipeline não produz uma "verdade fundamental autônoma". Alta cobertura e consistência interna não garantem correção factual, particularmente para valores fora do conjunto coberto pela referência. O sistema é projetado para produzir registros auditáveis onde a incerteza e a consistência podem ser avaliadas, com a revisão humana reservada para casos onde o reparo automatizado falha.

Em conclusão, o trabalho fornece um framework metodológico para escalar a coleta de dados nutricionais usando LLMs, equilibrando a eficiência dos modelos generativos com o rigor da estimativa estatística e da verificação de fatos externa.