LLMpedia: A Transparent Framework to Materialize an LLM's Encyclopedic Knowledge at Scale

Resumo Técnico: LLMpedia

1. O Problema

O artigo identifica uma lacuna crítica na avaliação de Grandes Modelos de Linguagem (LLMs):

• Viés de Disponibilidade nos Benchmarks: Métricas padrão (como MMLU, TruthfulQA) testam apenas o conhecimento que os pesquisadores decidiram perguntar. Isso cria uma ilusão de alta factualidade (acima de 90% em modelos de ponta), ignorando vastas regiões de conhecimento instável ou inexistente que nunca são questionadas.
• Limitações da Materialização Existente: Trabalhos anteriores que tentam extrair conhecimento dos modelos (como GPTKB) focam em triplas (fatos isolados) ou sofrem com falhas de desambiguação. Além disso, projetos como o Grokipedia (da xAI) são metodologicamente opacos e apresentam alta similaridade textual com a Wikipedia, sugerindo que podem estar apenas reempacotando conteúdo recuperado (RAG) em vez de gerar conhecimento paramétrico genuíno.
• Falta de Auditabilidade: Não existe um framework aberto e transparente que permita materializar conhecimento enciclopédico em escala e avaliar sua factualidade sem viés de seleção de tópicos.

2. Metodologia: O Framework LLMpedia

O LLMpedia é um pipeline de código aberto e totalmente auditável que gera artigos enciclopédicos inteiros apenas a partir da memória paramétrica do modelo (sem recuperação de dados externos durante a geração).

• Expansão em Largura (BFS): O sistema começa com uma entidade "semente" (ex: Vannevar Bush) e expande recursivamente. Cada artigo gerado contém links internos ([[wikilinks]]), que são extraídos e tratados como novas entidades candidatas para expansão.
• Pipeline de Sanitização de Entidades (3 Estágios): Para evitar a degradação da qualidade e loops de conteúdo genérico:
  1. Normalização Canônica: Unificação de variantes de superfície (ex: "USA" vs "U.S.A").
  2. Filtragem LLM Baseada em Enciclopédia: Um LLM classifica se um link merece um artigo próprio, rejeitando termos genéricos (ex: "engenheiro", "história de X") que não formam entidades enciclopédicas distintas.
  3. Deduplicação Baseada em Embeddings: Uso de vetores (text-embedding-3-small) para identificar e fundir duplicatas semânticas (ex: "Alemanha" vs "Deutschland").
• Modos de Operação:
  • Domínio Geral: Expansão livre a partir de uma semente.
  • Focado em Tópicos: Expansão restrita a raízes temáticas específicas (ex: "Movimento pelos Direitos Civis dos EUA"), permitindo análise de viés editorial.
• Injeção de Personas: O sistema permite injetar personas editoriais (neutra, esquerda, conservadora) para estudar como o enquadramento afeta a seleção de fatos e entidades.
• Avaliação Rigorosa:
  • Um "juiz" LLM extrai afirmações factuais dos artigos.
  • Tier 1: Verificação contra a Wikipedia (para tópicos cobertos).
  • Tier 2: Verificação contra fontes web curadas de alta qualidade (para tópicos "fronteira" ausentes na Wikipedia).
  • Métricas incluem Taxa de Verdade (True Rate), Precisão, Taxa de Falsidade e Taxa de Inverificabilidade.

3. Principais Contribuições

1. Primeira Enciclopédia Paramétrica Aberta: Um framework totalmente transparente onde prompts, artefatos intermediários e vereditos são públicos, contrastando com a opacidade do Grokipedia.
2. Evidência de "Viés de Benchmark": Demonstração empírica de que a factualidade em geração aberta é significativamente menor do que sugerido por benchmarks de perguntas fixas.
3. Benchmark de "Armadilha de Captura" (Capture-Trap): Um teste onde o LLMpedia e o Grokipedia geram os mesmos 1.000 artigos da Wikipedia. O resultado prova que alta similaridade textual com a Wikipedia não implica alta factualidade.
4. Análise de Escala e Sobreposição: Geração de ~1 milhão de artigos (no modelo gpt-5-mini) e análise da sobreposição de conhecimento entre diferentes famílias de modelos.

4. Resultados Chave

• Queda de Factualidade em Geração Aberta:
  • Enquanto benchmarks sugerem >90% de factualidade, o LLMpedia revelou que, para o gpt-5-mini, a taxa de verdade em tópicos cobertos pela Wikipedia é de apenas 74,7% (uma queda de mais de 15 pontos percentuais).
  • Para tópicos de "fronteira" (ausentes na Wikipedia, verificados apenas via web), a taxa de verdade cai para 63,2%.
• Divergência entre Modelos:
  • Três famílias de modelos (gpt-5-mini, Llama-3.3-70B, DeepSeek-V3) geraram conjuntos de tópicos com apenas 7,3% de sobreposição. Isso indica que o conhecimento materializado é altamente específico do modelo, não capturado por rankings de benchmarks gerais.
  • A profundidade da expansão (BFS hops) aumenta a taxa de inverificabilidade, mas não necessariamente a taxa de falsidade direta, sugerindo que o modelo "alarga" para áreas onde a evidência externa é escassa.
• Comparação com Grokipedia (Armadilha de Captura):
  • Em 1.000 artigos da Wikipedia, o LLMpedia superou o Grokipedia em precisão (+13,1 pp) e taxa de verdade (+14,0 pp).
  • O Grokipedia apresentou similaridade textual (TF-IDF) quase o dobro da do LLMpedia (0,492 vs 0,256), confirmando a hipótese de que o Grokipedia sofre de "captura" (reproduz a forma superficial da Wikipedia com erros de desambiguação), enquanto o LLMpedia gera conteúdo estruturalmente independente e mais factual.
• Impacto de Personas: A mudança de personas editoriais (neutra vs. tendenciosa) alterou a seleção de entidades e o enquadramento, mas a hierarquia de factualidade entre os modelos (gpt-5-mini > DeepSeek > Llama) permaneceu estável.

5. Significado e Conclusão

O artigo conclui que a avaliação de LLMs baseada apenas em benchmarks de múltipla escolha ou perguntas fixas é insuficiente e otimista demais para cenários de uso real (geração de texto longo).

• Viabilidade do Conhecimento Paramétrico: É possível construir enciclopédias inteiramente a partir da memória do modelo, mas a factualidade é frágil fora do "corredor estreito" do que os benchmarks testam.
• Risco de Ilusão de Competência: Modelos podem parecer altamente factuais em testes controlados, mas falhar sistematicamente quando solicitados a produzir conhecimento novo ou de fronteira sem recuperação externa.
• Transparência como Necessidade: A opacidade de sistemas como o Grokipedia mascara modos de erro e dependência de recuperação. O LLMpedia estabelece um novo padrão de auditoria, mostrando que a independência estrutural (não copiar a Wikipedia) é compatível com maior factualidade.

O projeto disponibiliza todos os dados, código e uma interface navegável em https://llmpedia.net, permitindo que a comunidade científica reprodusca e expanda essas descobertas.