Ontology-constrained multi-LLM scoring of hypothesis support in the predictive processing literature

Resumo Técnico: Pontuação de hipóteses de suporte via múltiplos LLMs com restrição de ontologia na literatura de processamento preditivo

Definição do Problema
Campos interdisciplinares como a neurociência do codificação preditiva enfrentam um "problema de fragmentação". A literatura abrange teoria computacional, eletrofisiologia, imagem e comportamento, muitas vezes entrelaçando formalismo matemático com fundamentos filosóficos dentro de uma única publicação. Essa heterogeneidade cria um gargalo de síntese: a meta-análise convencional tem dificuldade em escalar porque exige um espaço de comparação unificado e paradigmas idênticos, que são frequentemente ausentes neste domínio. Revisões qualitativas, embora valiosas, são laboriosas, difíceis de auditar e não conseguem comprimir dados heterogêneos em variáveis quantitativas comparáveis. Além disso, a terminologia dentro da codificação preditiva (ex: predição, erro, surpresa) é usada de forma inconsistente entre subcampos, complicando a identificação de suporte empírico para hipóteses específicas.

Metodologia
Os autores propõem um pipeline local de múltiplos LLMs projetado para síntese de literatura com restrição de ontologia. O sistema opera através das seguintes etapas:

1. Estrutura Ontológica: Um glossário canônico de 36 fatores foi definido manualmente, agrupados em três hipóteses centrais:

   • H1 (Supressão Preditiva): Inputs esperados são suprimidos ou refinados.
   • H2 (Propagação de Erro Feedforward): Desajustes não previstos propagam-se para frente através de hierarquias corticais.
   • H3 (Ubiquidade): A codificação preditiva é um algoritmo cortical universal.
     Estes fatores são adicionalmente restringidos por escopos de contexto (Oddball Local vs. Oddball Global).

2. Ingestão e Processamento de Dados:

   • Corpus: 31 estudos (teóricos, neurofisiológicos, de imagem e de modelagem) variando de 1982 a 2025.
   • Extração Multimodal: O texto é analisado deterministicamente, e as figuras são analisadas usando um Modelo de Linguagem Visual local (VLM, gemma-3-9b-it) para extrair tendências estatísticas e evidências visuais, que são intercaladas no texto do estudo.
   • Engenharia de Prompt: Uma camada de instrução guia os modelos para atuarem como neurocientistas, pontuando cada fator em uma escala de -1 (contradição) a +1 (concordância), com 0 para resultados neutros e nulo para fatores não abordados. Crucialmente, os modelos devem fornecer um log de raciocínio auditável citando texto ou figuras específicos para pontuações não nulas.

3. Conselho Multi-Agente: Dez modelos de linguagem locais independentes rodam em paralelo para pontuar o corpus. Esta abordagem de "conselho" permite a medição do desacordo entre modelos e reduz a influência de vieses ou pontos cegos específicos de modelos individuais.

4. Métricas Quantitativas:

   • Consistência do Agente (AC): Mede a diferença média quadrática (MSD) entre os modelos para avaliar o acordo inter-modelo.
   • Consistência da Literatura (LC): Mede a MSD entre estudos para identificar pontos de consenso central ou outliers.
   • Temperatura do Espaço-Hipótese ($T_H$): Uma métrica geométrica inovadora definida como o volume do elipsoide envolvente mínimo dos pontos do estudo dividido pelo número de pontos ($V_{env}/n$). Uma temperatura baixa indica uma literatura compacta e consensual; uma temperatura alta indica dispersão e desacordo teórico.
   • Análise Vetorial: Calcula o deslocamento direcional dos estudos entre contextos de Oddball Local e Global.

Principais Resultados

• Suporte Dependente de Contexto: O conselho encontrou alta concordância para H1 e H2 em contextos de Oddball Local (Pontuações médias ~0.46–0.51). No entanto, o suporte caiu significativamente para contextos de Oddball Global em todas as hipóteses, com o declínio mais pronunciado observado em H2 (Propagação de Erro Feedforward, deslocamento de -0.158).
• Hipótese da Ubiquidade (H3): Esta hipótese recebeu o menor acordo geral (Média = 0.23), sugerindo evidência limitada na literatura para mecanismos de codificação preditiva generalizando amplamente pelo cérebro.
• Consistência do Modelo: Os 10 modelos mostraram alto acordo interno (Média AC = 0.11), significativamente inferior aos basais de embaralhamento aleatório (0.67), indicando que o pipeline produz pontuações estáveis e reproduzíveis.
• Geometria da Literatura:
  • Contexto Local: Os estudos agruparam-se em uma região compacta no espaço tridimensional de hipóteses, indicando um consenso forte.
  • Contexto Global: A literatura tornou-se mais dispersa. A "Temperatura do Espaço-Hipótese" foi significativamente maior para Oddballs Globais (0.00348) do que para Oddballs Locais (0.00114), mesmo excluindo outliers.
  • Detecção de Outliers: O estudo de Westerberg, Xiong, et al. (2025) foi identificado como um outlier geométrico, particularmente no contexto de Oddball Global, mostrando uma divergência acentuada das tendências dominantes da literatura.
• Deslocamentos Vetoriais: O movimento vetorial médio de Local para Global apontou para longe do octante (+1, +1, +1), confirmando visualmente que a literatura apoia a codificação preditiva mais fortemente em contextos sensoriais locais do que em contextos globais e baseados em regras.

Significância e Alegações
O artigo afirma que conselhos locais de múltiplos LLMs podem produzir medições de desacordo auditáveis que mapeiam literaturas científicas heterogêneas em espaços de evidência quantitativos. Ao restringir os modelos com um glossário especializado e exigir logs de raciocínio baseados em evidências, o framework transforma revisões de literatura qualitativas em uma "constelação geométrica" de suporte científico.

Os autores argumentam que esta abordagem aborda as limitações de escala da síntese manual e as limitações de espaço de comparação da meta-análise tradicional. O framework permite:

1. Cartografia Quantitativa: Traduzir debates científicos abstratos em variáveis mensuráveis (ex: temperatura, vetores).
2. Identificação de Outliers: Identificar geometricamente estudos que divergem de hipóteses estabelecidas.
3. Replicabilidade: Fornecer um pipeline de execução local transparente onde arquivos intermediários, prompts e logs de raciocínio podem ser inspecionados, evitando a "caixa preta" das APIs de nuvem.

O estudo conclui que, embora a literatura de codificação preditiva apoie um consenso sobre a supressão preditiva local, ela exibe um desacordo estruturado em relação às alegações amplas de ubiquidade e à propagação de erro feedforward global. O framework é apresentado não como um substituto para a interpretação de especialistas, mas como uma ferramenta para comprimir dados heterogêneos em um espaço estruturado onde mudanças teóricas e outliers empíricos podem ser rastreados objetivamente.