Resumo Técnico: Distribird

1. Definição do Problema

A calibração bayesiana de modelos baseados em processos (ex.: na agricultura, hidrologia ou epidemiologia) requer a especificação de uma distribuição a priori para cada parâmetro do modelo. Priors informativos — derivados da literatura científica — são estatisticamente superiores aos priors uniformes não informativos, mas raramente são utilizados na prática. A barreira não é a falta de conhecimento, mas o custo proibitivo de reunir, ler e sintetizar manualmente décadas de literatura para construir esses priors.

Modelos de Linguagem de Grande Escala (LLMs) recentes oferecem uma solução potencial ao automatizar a busca e a síntese de literatura. No entanto, o uso de prompts diretos em LLMs para gerar priors introduz falhas críticas para fluxos de trabalho científicos:

• Falta de Rastreabilidade: LLMs frequentemente geram priors confiantes sem citar fontes, tornando a verificação impossível.
• Alucinação: Os modelos podem fabricar priors para parâmetros não empíricos (ex.: constantes de ajuste de software) ou erros tipográficos.
• Privacidade de Dados: LLMs baseados em nuvem exigem a transmissão de descrições de parâmetros e detalhes de modelagem não publicados para terceiros.

O problema central é a ausência de uma ferramenta escalável, confiável e totalmente local que automatize a construção de priors baseada em literatura, mantendo a procedência total e rejeitando solicitações fora de escopo.

2. Metodologia: O Sistema Distribird

Distribird é uma aplicação web agente e uma biblioteca Python projetada para automatizar a construção de priors informados pela literatura. Opera inteiramente em hardware local utilizando modelos de pesos abertos (open-weight models), garantindo que nenhum dado saia da máquina do pesquisador.

2.1 Arquitetura Central

O sistema é construído sobre um pipeline multiagente LangGraph que orquestra um fluxo de trabalho estatal com três loops de feedback e roteamento condicional. O pipeline processa um ParameterInput (nome, descrição, unidade, contexto de domínio e limites físicos) através das seguintes etapas:

1. Enriquecimento e Verificação de Validade:

   • O sistema primeiro tenta reconhecer o parâmetro. Se o LLM não reconhecer o nome ou determinar que a quantidade é não empírica (ex.: uma variável latente), ele aciona um mecanismo de Early-Skip (Pular Antecipadamente).
   • Isso evita as fases caras de busca e extração (economizando 80–95% do tempo de execução) e classifica a solicitação como Likely_Invalid (Provavelmente Inválida) ou Suspicious (Suspeita), impedindo a geração de priors infundados.

2. Estratégia de Busca Progressiva:

   • Planejamento de Escopo: Um nó classifica a especificidade da solicitação (alta, média, baixa) para determinar uma amplitude de busca inicial (estrita, mista ou ampla).
   • Busca Paralela: O sistema consulta Semantic Scholar e OpenAlex em paralelo para artigos de acesso aberto. Agentes opcionais podem realizar buscas profundas na web, com resultados verificados cruzadamente para evitar citações alucinadas.
   • Ampliação de Domínio (Loop B): Se a busca estrita inicial não render valores relevantes suficientes, o sistema amplia automaticamente o escopo da busca (ex.: de "milho na Europa Central" para "milho globalmente") e reexecuta a busca, acumulando evidências em vez de descartar os resultados anteriores.

3. Recuperação de Texto Completo e Extração:

   • Busca em Camadas: O sistema tenta recuperar textos completos através de uma cascata de fontes (resolvedores de URL, espelhos de acesso aberto, conversores de DOI) antes de recorrer a um navegador de stealth opcional e pesado (Camoufox) para conteúdo com paywall.
   • Preservação de Estrutura: PDFs são convertidos para Markdown para preservar estruturas de tabelas, garantindo que valores numéricos sejam extraídos com seus respectivos nomes de unidades e rótulos de linha/coluna intactos.
   • Extração: O LLM extrai valores numéricos do texto completo.

4. Síntese Consciente de Relevância:

   • Julgamento de Relevância: Cada valor extraído é pontuado por um LLM quanto à relevância de domínio (Alta, Média, Baixa).
   • Portão de Qualidade: O pipeline avalia a quantidade e a qualidade dos valores extraídos. Se a evidência for escassa, ele aciona o Refinamento de Busca (Loop A) ou o Refinamento de Extração (Loop C) para encontrar melhores dados.
   • Ajuste de Distribuição:
     • ≥5 Valores: Ajusta cinco distribuições candidatas (Normal, Normal Truncada, Gamma, Log-Normal, Beta) e seleciona a melhor via Critério de Informação de Akaike (AIC).
     • 2–4 Valores: Utiliza o método de momentos com um desvio padrão ampliado para evitar o overfitting.
     • 1 Valor: Centraliza uma Normal Truncada no valor com incerteza derivada da fonte.
     • 0 Valores: Recorre a uma Normal Truncada ampla e não informativa.
   • Ponderação: Os valores são ponderados pelo tamanho da amostra e pelo escore de relevância (Alta=1.0, Média=0.6, Baixa=0.25).

5. Saída e Procedência:

   • O sistema gera um PipelineResult contendo a distribuição ajustada, nível de confiança e uma cadeia completa de procedência (consultas de busca, artigos recuperados, valores extraídos e racional do ajuste).
   • Os formatos incluem JSON, código Python executável (SciPy) e scripts em R.

2.2 Restrições Técnicas

• Execução Local: Todas as chamadas de LLM utilizam modelos de pesos abertos (Qwen3.6 27B, Gemma 4 31B, Mistral Small 4 119B) quantizados para execução local em GPU (ex.: NVIDIA H100).
• Controle de Orçamento: Um IterationBudget limita o total de chamadas de LLM (padrão 30) para garantir a terminação.
• Reprodutibilidade: Sementes (seeds) fixas e configurações de temperatura específicas para a tarefa garantem saídas determinísticas para o mesmo dado de entrada.

3. Principais Contribuições

1. Priors Automatizados Informados pela Literatura: O Distribird é um sistema que automatiza totalmente o pipeline, desde a descrição do parâmetro até a distribuição de probabilidade ajustada usando literatura científica, visando especificamente modelos baseados em processos.
2. Salvaguardas de Validade: Diferente dos LLMs padrão, o Distribird detecta e rejeita explicitamente solicitações fora de escopo (erros de digitação, parâmetros não empíricos) via um mecanismo de early-skip e um classificador de validade terminal, evitando a geração de priors "confiantes, porém infundados".
3. Procedência Total: Cada prior é rastreável até artigos e valores específicos. O sistema exporta uma trilha de auditoria completa, abordando a natureza de "caixa preta" da ciência gerada por LLMs.
4. Operação Local e Preservação de Privacidade: Todo o fluxo de trabalho roda em hardware local com modelos de pesos abertos, garantindo que detalhes de modelagem não publicados nunca sejam transmitidos para provedores terceiros.
5. Lógica de Busca Progressiva: O sistema ajusta dinamicamente a amplitude da busca com base na evidência inicial, equilibrando a necessidade de especificidade com a necessidade de encontrar dados suficientes.

4. Resultados de Avaliação

Os autores avaliaram o Distribird em 24 parâmetros em dez domínios científicos utilizando três modelos locais de pesos abertos, comparando o pipeline completo contra um baseline de LLM de prompt único (uma solicitação direta de um prior sem busca de literatura).

• Qualidade do Prior (Acurácia): O pipeline completo iguala-se ao baseline de prompt único em termos de acurácia de estimativa de ponto, mas não o supera. Os autores observam que isso é esperado, pois ambos os métodos dependem fundamentalmente da mesma base de conhecimento (os dados de treinamento do LLM vs. a literatura que ele recupera).
• Robustez contra Alucinação: O pipeline completo declinou com sucesso a produção de priors para todos os cinco parâmetros de teste fora de escopo (fabricados ou não empíricos). Em contraste, o baseline de prompt único gerou priors confiantes e infundados para esses parâmetros em 11 de 30 casos de modelo-parâmetro.
• Rastreabilidade: Cada prior produzido pelo Distribird foi vinculado a fontes específicas, enquanto o baseline retornou priors sem base rastreável.
• Operação Local: O sistema funcionou inteiramente em hardware local sem transmitir dados sensíveis.

5. Significância e Alegações

O artigo argumenta que, para fluxos de trabalho científicos, procedência, robustez contra fabricação e privacidade de dados são mais críticos do que melhorias marginais na acurácia de estimativa de ponto.

O Distribird não pretende ser um estimador "mais inteligente" do que um LLM bem instruído. Em vez disso, pretende ser uma ferramenta confiável. Sua significância reside em tornar a construção de priors baseada em literatura:

• Escalável: Automatizando um processo que anteriormente levava dias de leitura manual.
• Auditável: Fornecendo uma cadeia de evidências defensável para cada prior.
• Segura: Impedindo o uso de priors para parâmetros que carecem de suporte empírico.
• Privada: Permitindo o uso de detalhes de modelagem proprietários ou não publicados sem expô-los a provedores de IA externos.

Os autores concluem que essas propriedades tornam o Distribird adequado para o trabalho científico sério, onde a capacidade de verificar e defender um prior é um pré-requisito para seu uso.