Plato's Cave: A Human-Centered Research Verification System

Título: Plato's Cave: Um Sistema de Verificação de Pesquisa Centrado no Humano

1. O Problema

O volume de publicações científicas cresceu exponencialmente, superando a capacidade tradicional de revisão por pares. Em 2022, houve 3,3 milhões de publicações em ciência e engenharia, com um aumento significativo em conferências de IA (NeurIPS, ICML, ICLR). Essa proliferação levou a:

• Sobrecarga dos mecanismos de revisão.
• Disseminação de pesquisas não confiáveis.
• Aumento de 26% nas retratações de artigos em 2025.
• Falta de ferramentas para auditar rapidamente a lógica interna dos artigos, onde alegações, métodos, evidências e conclusões são complexos e interconectados.

Abordagens existentes têm limitações: métricas de citação medem popularidade, não correção; sistemas de fact-checking (como SciFact) operam no nível de frases, ignorando a estrutura argumentativa; e modelos de linguagem puros carecem de verificação contra fontes primárias externas.

2. Metodologia: O Sistema Plato's Cave

O sistema propõe uma abordagem de verificação centrada no humano que modela artigos científicos como Grafos de Conhecimento (Knowledge Graphs) e utiliza agentes autônomos para verificar cada componente.

A. Representação como DAG (Grafo Acíclico Direcionado)
O sistema extrai o texto não estruturado de um artigo e o transforma em um DAG estruturado:

• Nós: Representam unidades semânticas (Hipóteses, Alegações, Evidências, Métodos, Resultados, Limitações, etc.) baseadas em uma ontologia de 10 papéis.
• Arestas: Codificam dependências lógicas (ex: uma Evidência suporta uma Alegação, que suporta uma Hipótese).
• Restrições: O grafo deve ser estritamente acíclico e respeitar a ontologia. Se a extração falhar, o sistema tenta um "reparo" limitado com o LLM.

B. Verificação Multi-Agente
Em vez de confiar apenas no conhecimento paramétrico do LLM, o sistema emprega agentes autônomos com capacidade de navegação na web (browser-use agents):

• Para cada nó do DAG, os agentes realizam uma busca na web para encontrar fontes primárias.
• Avaliam 6 métricas de verificação para cada nó:
  1. Credibilidade: Autoridade da fonte.
  2. Relevância: Alinhamento entre a alegação e a evidência encontrada.
  3. Força da Evidência: Qualidade e quantidade de dados.
  4. Rigor do Método: Solidez do desenho experimental.
  5. Reprodutibilidade: Disponibilidade de código/dados.
  6. Suporte de Citação: Número e qualidade de citações.

C. Propagação de Confiança (Trust Propagation)
O sistema utiliza um mecanismo de portão de confiança (trust-gating) inspirado em propagação de crenças (belief propagation):

• A qualidade de um nó filho é influenciada pela confiança de seus nós pais.
• Se um nó pai (ex: uma premissa fundamental) tem baixa confiança, a confiança de todos os nós dependentes (filhos) é reduzida.
• Isso impede que alegações fracas ou falsas inflacionem a confiança em conclusões downstream.
• O processo é determinístico e interpretável, diferindo de modelos probabilísticos tradicionais ao focar em "confiança derivada de verificação" em vez de marginais probabilísticos.

D. Pontuação e Interpretabilidade
O sistema gera uma pontuação global do artigo ($S_{graph}$) baseada em seis componentes estruturais:

1. Cobertura de Ponte: Proporção de nós conectando Hipóteses a Conclusões.
2. Confiabilidade do Melhor Caminho: A força da cadeia de evidência mais confiável.
3. Redundância: Existência de múltiplos caminhos de suporte.
4. Fragilidade: Vulnerabilidade do grafo (baseado em corte mínimo).
5. Coerência: Consistência dos papéis semânticos.
6. Cobertura: Presença de papéis-chave (Evidência, Método, Resultado).

O sistema é centrado no humano: permite que revisores vejam o navegador do agente em tempo real, interajam (ex: resolvendo CAPTCHAs ou acessando fontes pagas) e auditem a cadeia de raciocínio antes de aceitar a pontuação.

3. Principais Contribuições

1. Representação DAG Consciente de Papéis: Uma nova forma de estruturar artigos científicos com validação e reparo automático de ontologia e aciclicidade.
2. Framework de Pontuação Multi-Nível: Combina qualidade de nós, priores de arestas e métricas de estrutura global, permitindo auditoria detalhada.
3. Esquema de Amostragem Fatorado: Permite estimar incertezas e calibrar parâmetros sem re-treinar modelos, perturbando separadamente a estrutura e os parâmetros de agregação.
4. Sistema Interativo Open-Source: Uma aplicação web completa que expõe o pipeline ao usuário, facilitando a auditoria "humana-no-loop" em vez de substituir o julgamento humano.
5. Validação Empírica: Avaliação piloto com 104 artigos de diversas áreas (Economia, ML, Psicologia).

4. Resultados (Avaliação Piloto)

O sistema foi testado em um conjunto de 104 artigos com rótulos humanos grosseiros (Ruim, Neutro, Bom).

• Desempenho de Classificação: Após calibração, o sistema alcançou uma AUROC de 0,759 na discriminação entre artigos "Bons" e "Ruins", e um coeficiente de correlação de Spearman de 0,395 com os rótulos humanos.
• Estabilidade: 97,4% das tentativas de pontuação foram concluídas com sucesso; apenas 2,6% das amostras de DAG falharam na validação estrita.
• Latência: O tempo médio de processamento por artigo foi de ~65 minutos (dominado pela extração de DAG e verificação de nós), com um custo estimado de $0,15 por artigo em taxas de API.
• Conclusão da Avaliação: O sistema funciona como um "andaime de decisão" calibrável e auditável, mostrando alinhamento moderado com julgamentos humanos, mas não deve ser visto como um estimador definitivo de qualidade sem supervisão adicional.

5. Significado e Implicações Futuras

O Plato's Cave representa um avanço significativo ao mover a verificação de fatos do nível de frase para a estrutura argumentativa completa de um artigo científico.

• Interpretabilidade: Ao expor a cadeia de raciocínio e as fontes verificadas, o sistema torna o processo de revisão transparente.
• Mitigação de Alucinação: O uso de agentes de navegação na web reduz a dependência do conhecimento interno do LLM, ancorando as verificações em fontes externas.
• Escalabilidade Humana: O design permite que revisores humanos foquem nos pontos de baixa confiança identificados pelo sistema, otimizando o tempo de revisão.

Limitações e Futuro:
O sistema ainda exige recursos computacionais significativos e depende de uma ontologia fixa que pode precisar de extensão para domínios específicos (ex: biologia). Trabalhos futuros visam aprender os parâmetros de propagação de confiança a partir de anotações humanas, integrar o sistema diretamente em plataformas de revisão por pares e expandir a verificação para afirmações cruzadas entre múltiplos artigos.

Em resumo, o Plato's Cave não visa substituir o revisor humano, mas fornecer uma ferramenta poderosa para auditar a lógica interna e a veracidade das evidências em um volume de dados que se tornou impossível de gerenciar manualmente.