GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge
Este artigo apresenta o GPTKB v1.5, uma base de conhecimento de 100 milhões de triplas de baixo custo construída a partir do GPT-4.1 via materialização recursiva massiva, que permite a exploração sistemática, consulta estruturada e análise comparativa do conhecimento factual de LLMs.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um robô superinteligente que leu quase tudo na internet. Você sabe que ele conhece muitos fatos, mas se você perguntar: "O que você sabe sobre a Torre Eiffel?", ele pode dizer algumas coisas. Se você perguntar: "E sobre o Louvre?", ele dirá mais. Mas você não tem ideia do que ele não sabe, ou quão profunda é sua base de conhecimento, porque você só pode fazer uma pergunta de cada vez. É como tentar mapear um continente olhando apenas para os pontos por onde você decide caminhar.
GPTKB v1.5 é um projeto que muda o jogo. Em vez de fazer perguntas ao robô uma por uma, os pesquisadores construíram um mapa massivo e interconectado de tudo o que o robô (especificamente o GPT-4.1) sabe. Pense nisso como transformar uma pilha espalhada de cartões de curiosidades em uma biblioteca gigante e pesquisável, onde cada fato está ligado a todos os outros fatos.
Aqui está como eles fizeram isso e o que descobriram, explicado de forma simples:
1. O Método da "Bola de Neve" (Como construíram isso)
Os pesquisadores não pediram apenas fatos aleatórios ao robô. Eles usaram uma técnica inteligente de "bola de neve":
- A Semente: Eles começaram com algo específico, como "Vannevar Bush" (um famoso engenheiro).
- A Expansão: Eles perguntaram ao robô: "Diga-me tudo o que você sabe sobre Vannevar Bush". O robô lhes deu uma lista de fatos, como "Ele trabalhou em X" ou "Ele inventou Y".
- A Reação em Cadeia: O robô mencionou novos nomes nessas respostas (como "X" e "Y"). Os pesquisadores então perguntaram imediatamente ao robô sobre esses novos nomes.
- O Resultado: Eles continuaram fazendo isso recursivamente, como uma reação em cadeia, por 10 camadas de profundidade. Isso criou uma enorme teia de 100 milhões de fatos (chamados de "triplas") conectando 6,1 milhões de coisas diferentes.
Custou cerca de US$ 14.000 em tempo de computação para construir toda essa biblioteca, o que levou cerca de 18 dias para ser concluído.
2. Limpando a Bagunça (A "Consolidação")
Quando você faz a mesma pergunta ao robô de maneiras diferentes, às vezes ele dá respostas ligeiramente diferentes ou usa palavras diferentes para a mesma coisa (por exemplo, chamar uma pessoa de "humano" em uma frase e de "pessoa" em outra).
Para corrigir isso, os pesquisadores realizaram um processo de "limpeza". Eles agruparam palavras semelhantes e fundiram fatos duplicados. Isso transformou uma pilha bagunçada e redundante de dados em um banco de dados limpo e organizado com categorias claras.
3. O Que Você Pode Fazer Com Este Mapa?
O artigo apresenta um site onde qualquer pessoa pode explorar essa enorme base de conhecimento de três maneiras principais:
- O Explorador Estilo "Wikipedia": Você pode clicar em qualquer item (como a estátua "Merlion" em Singapura) e ver uma lista de fatos que o robô sabe sobre ele. Você pode então clicar nas pessoas ou lugares mencionados nesses fatos para saltar para suas páginas, explorando a mente do robô como se estivesse caminhando por um museu.
- A Ferramenta de Consulta do "Detetive": Você pode fazer perguntas complexas usando uma linguagem especial chamada SPARQL. Por exemplo, você poderia perguntar: "Mostre-me os 100 tipos mais comuns de coisas sobre as quais este robô sabe". O mapa do robô revelou que ele sabe mais sobre pessoas, seguido por filmes, empresas e livros.
- Uma Descoberta Divertida: Os pesquisadores verificaram se o conhecimento do robô é justo. Eles perguntaram: "Se o robô sabe que 'A é casado com B', ele também sabe que 'B é casado com A'?". Eles descobriram que, 84% das vezes, ele não sabe. O conhecimento do robô é frequentemente unilateral, lembrando de um lado de um relacionamento, mas esquecendo o outro.
- O "Teste de Gosto" (Comparação): Você pode colocar diferentes modelos de IA lado a lado. Os pesquisadores compararam o GPT-4.1 com outros modelos (como Llama e DeepSeek).
- Exemplo: Ao perguntar sobre um famoso pesquisador de IA chamado Ilya Sutskever, o modelo GPT cuspiu 40 fatos, enquanto o modelo Llama deu apenas 14.
- O Porém: Ambos os modelos erraram a data de nascimento dele! Isso mostra que, embora um modelo saiba mais fatos, ambos podem cometer o mesmo erro bobo.
4. Quão Preciso é?
Os pesquisadores não confiaram cegamente no robô; eles conferiram seu trabalho.
- Eles escolheram aleatoriamente 1.000 fatos e os verificaram com o mundo real (usando buscas na web).
- A Pontuação: Cerca de 75,5% dos fatos eram verdadeiros.
- O Problema: Cerca de 19,5% eram falsos, e alguns eram confusos demais para serem verificados.
- O Viés: Como começaram com "sementes" específicas, o mapa é fortemente inclinado para as coisas que os pesquisadores acharam que deveriam perguntar. É um mapa enorme, mas não é um mapa completo de todo o universo do conhecimento.
A Conclusão
O GPTKB v1.5 é um experimento massivo de US$ 14.000 que transformou uma IA de "caixa preta" em uma biblioteca transparente e pesquisável. Ele prova que podemos mapear sistematicamente o que uma IA sabe, revelando que, embora esses modelos sejam incrivelmente instruídos (detendo 100 milhões de fatos), eles também são propensos a pensamentos unilaterais e erros específicos. É uma ferramenta para pesquisadores pararem de adivinhar o que a IA sabe e começarem a realmente enxergar.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.