Frugal Knowledge Graph Construction with Local LLMs: A Zero-Shot Pipeline, Self-Consistency and Wisdom of Artificial Crowds

Este artigo apresenta um pipeline zero-shot e reprodutível para a construção de Grafos de Conhecimento executado inteiramente em hardware local, que alcança resultados competitivos em tarefas de raciocínio complexo através de mecanismos de autoconsistência e roteamento de confiança entre modelos, tudo isso sem treinamento e com uma pegada de carbono mínima.

O essencial

Imagine que você quer construir uma biblioteca gigante de conhecimento (um "Mapa do Tesouro" de fatos) a partir de milhões de livros, mas você não tem uma equipe de bibliotecários pagos e nem um supercomputador de última geração. Você só tem um computador comum em casa e uma única placa de vídeo (como as usadas por gamers).

É exatamente isso que o artigo "Construção Frugal de Grafos de Conhecimento com LLMs Locais" propõe fazer.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Grande Desafio: O "Oráculo" vs. O "Artista"

Normalmente, para fazer essa tarefa, as empresas usam modelos de Inteligência Artificial (IA) gigantes, treinados por dias em centenas de computadores caros (como um oráculo que sabe tudo). Isso custa muito dinheiro e energia.

Os autores dizem: "E se usarmos modelos menores, rodando no seu computador, sem treinamento prévio?"

• A Metáfora: É como tentar resolver um quebra-cabeça complexo não contratando um especialista, mas usando um grupo de amigos inteligentes que você tem em casa. O problema é que, sozinhos, eles podem errar ou alucinar (inventar coisas).

2. A Solução: O "Maestro" e a "Orquestra"

O sistema deles (chamado SYNSYNTH) funciona como uma orquestra onde cada músico toca uma parte específica, mas todos seguem uma partitura muito bem escrita.

• O Segredo não é o Instrumento, é a Partitura (Prompt Engineering):
  Eles descobriram que o modelo de IA escolhido (Gemma-4) era um "maestro" excelente, mas só se você lhe desse instruções muito claras.
  • Analogia: Se você pedir para um pintor "pinte um cachorro", ele pode pintar qualquer coisa. Mas se você disser "pinte um Golden Retriever, com orelhas caídas, sentado na grama, sem rabo", o resultado é perfeito.
  • O artigo mostra que, com as instruções certas (o "prompt" V3), um modelo local conseguiu desempenho quase igual ao dos modelos super-caros, sem ter aprendido nada novo.

3. O Problema da "Ilusão Coletiva" (O Paradoxo do Acordo)

Aqui entra a parte mais fascinante e científica do papel. Eles tentaram fazer o sistema ser mais inteligente pedindo para a IA responder a mesma pergunta 5 vezes e escolher a resposta mais comum (como uma votação).

• A Descoberta Surpreendente:
  Eles perceberam algo estranho: quando a IA concordava muito entre as 5 respostas (alta concordância), muitas vezes ela estava errada com confiança.
  • A Analogia: Imagine um grupo de amigos tentando adivinhar a resposta de um quiz. Se todos gritam a mesma resposta errada com certeza, eles estão em um "loop de alucinação coletiva". Eles estão tão seguros de que estão certos que ninguém questiona.
  • O Paradoxo: A "sabedoria das multidões" (onde a média de opiniões erradas se corrige) falha aqui. Quando todos concordam, é um sinal de perigo, não de verdade. A resposta certa muitas vezes estava escondida em uma das opiniões "dúvidas" ou "hesitantes".

4. A Estratégia Vencedora: O "Sistema de Encaminhamento"

Como resolver isso? Eles criaram um mecanismo inteligente chamado Encaminhamento por Confiança.

• Como funciona:
  1. O primeiro modelo (Phi-4) tenta responder 5 vezes.
  2. Se ele estiver muito confiante e todos concordarem, ele aceita a resposta.
  3. Se ele estiver hesitante (as respostas forem diferentes), o sistema percebe: "Ops, aqui é difícil".
  4. Nesse momento, ele encaminha a pergunta para um segundo modelo (GPT-OSS), que é um pouco diferente e pode ter uma perspectiva nova.
• A Analogia: É como um médico generalista. Se ele tem certeza do diagnóstico, ele trata. Se o caso é complexo e ele está em dúvida (os sintomas não batem), ele não chuta; ele manda o paciente para um especialista diferente.

5. Os Resultados: "Frugalidade" (Economia Inteligente)

O resultado final é impressionante:

• Desempenho: O sistema local conseguiu resolver 55% das perguntas complexas (em testes de raciocínio múltiplo), superando métodos simples e chegando perto de sistemas que custam milhares de dólares.
• Custo: Tudo isso rodou em 5 horas em um único computador com uma placa de vídeo comum (RTX 3090).
• Impacto Ambiental: A "pegada de carbono" foi de apenas 0,09 kg de CO2.
  • Comparação: É como a emissão de carbono de dirigir um carro por alguns quilômetros, em vez de voar de avião para outro continente (o que seria o custo de treinar modelos gigantes na nuvem).

Resumo em uma frase

O artigo prova que, com instruções inteligentes e um sistema que sabe quando pedir ajuda a um especialista, podemos construir bases de conhecimento poderosas usando apenas computadores domésticos, evitando desperdício de energia e dinheiro, e entendendo que, às vezes, a dúvida é mais valiosa do que a certeza falsa.

Resumo técnico

Resumo Técnico: Construção Frugal de Grafos de Conhecimento com LLMs Locais

1. Problema e Motivação

O artigo aborda o desafio de construir e explorar Grafos de Conhecimento (KGs) de alta qualidade utilizando Grandes Modelos de Linguagem (LLMs) sem treinamento supervisionado (zero-shot) e executados inteiramente em hardware de consumo (local).

• Desafios Atuais: Os LLMs tradicionais sofrem com alucinações e altos custos computacionais. Sistemas supervisionados (como DREEAM) exigem treinamento em múltiplas GPUs e grandes conjuntos de dados rotulados.
• Objetivo: Determinar se LLMs quantizados, rodando localmente e sem treinamento específico, podem construir um KG com qualidade suficiente para aplicações do mundo real, mantendo um baixo custo energético e computacional ("Frugal AI").

2. Metodologia: Pipeline SYNSYNTH

O autor propõe o SYNSYNTH, um pipeline automatizado e reprodutível que orquestra quatro módulos independentes, cada um executado por um LLM especializado via inferência local (Ollama).

• Arquitetura e Modelos:
  • Extração de Relações: Gemma-4-27B-A4B-it (MoE, 27B parâmetros, 4B ativos), quantizado em Q4_K_M (~16GB VRAM).
  • Texto para Consulta (Text-to-Query): Qwen3-Deep (8B).
  • Raciocínio Multi-hop: Phi-4 (14B).
  • RAG Conversacional: Mistral-Small (24B).
• Engenharia de Prompt (Crítica): O sucesso do sistema depende fortemente do design do prompt (Versão V3), que inclui:
  • Lista explícita de 96 relações válidas (taxonomia Wikidata).
  • Proibição de respostas como "no_relation" ou "desconhecido".
  • Regras semânticas específicas (geográficas, familiares, obras criativas).
  • Dicionário de sinônimos para correspondência flexível (soft matching).
• Mecanismos de Diversidade e Roteamento:
  • Autoconsistência (Self-Consistency): Geração de múltiplas amostras ($k$) com temperatura não nula ($T=0.7$) e votação majoritária.
  • Paradoxo do Acordo: Descoberta de que um alto consenso entre amostras de um mesmo modelo frequentemente indica uma "alucinação coletiva" (erro sistemático), enquanto o desacordo intermediário sinaliza incerteza útil.
  • Cascata de Roteamento por Confiança: Um mecanismo onde perguntas com baixo acordo interno no modelo primário (Phi-4) são roteadas para um segundo modelo (GPT-OSS) para obter diversidade arquitetural.

3. Contribuições Principais

1. Framework de Avaliação Reprodutível: Integração de benchmarks externos (DocRED, HotpotQA), dados sintéticos (estilo WebQuestionsSP) e métricas RAGAS (RAGAS) em um pipeline local.
2. Estudo Empírico de Trade-off Custo/Desempenho: Comparação entre abordagens zero-shot locais e sistemas supervisionados, demonstrando que a engenharia de prompt supera a escolha do modelo em tarefas de extração.
3. Descoberta do "Paradoxo do Acordo": Evidência de que o consenso elevado em amostras de um único LLM pode ser um sinal de alucinação, conectando LLMs à literatura sobre "sabedoria das multidões" (onde a influência social reduz a diversidade e piora a estimativa).
4. Mecanismo de Cascata Otimizado: Uma estratégia de roteamento que combina autoconsistência e diversidade arquitetural, alcançando o melhor desempenho sem treinamento.

4. Resultados Experimentais

• Extração de Relações (DocRED - 500 amostras):

  • F1 Score: 0.70 (zero-shot local).
  • Comparação: Supera significativamente o zero-shot do GPT-3/ChatGPT (~30%) e chega perto do sistema supervisionado DREEAM (80.2%).
  • Impacto do Prompt: O modelo Gemma-4, em extração "crua", teve F1 de apenas 0.039. Com o pipeline V3 (prompt + sinônimos), saltou para 0.70, provando que o prompt é mais crucial que o modelo.

• Texto para Consulta (Text-to-Query - 200 amostras):

  • Acurácia: 0.80 (95% CI: 0.74–0.85).
  • Validade Sintática: 100% das consultas Cypher geradas foram sintaticamente válidas (graças ao constrained decoding).

• Raciocínio Multi-hop (HotpotQA - 500 amostras):

  • Zero-shot (Phi-4): EM (Exact Match) de 0.46.
  • Autoconsistência (k=3): EM de 0.48.
  • Cascata de Roteamento (Phi-4 $\to$ GPT-OSS, k=5): EM de 0.55 (melhor resultado).
  • Análise de Diversidade: Em 181 perguntas difíceis (não resolvidas a $T \approx 0$), a autoconsistência recuperou até 23% do EM, enquanto o "Oracle" (melhor resposta entre 3 modelos $\times$ 5 amostras) alcançou 46.4%.

• RAGAS (Anti-alucinação):

  • Fidelidade: 0.96, indicando que as respostas são derivadas quase exclusivamente do contexto do grafo.

• Eficiência e Sustentabilidade:

  • Hardware: Execução em uma única RTX 3090 (24GB VRAM).
  • Tempo: ~5 horas para o pipeline completo.
  • Pegada de Carbono: Estimada em 0.09 kg CO2eq (apenas GPU), demonstrando a viabilidade da "IA Frugal".

5. Significado e Conclusões

O trabalho demonstra que é possível construir sistemas de Grafos de Conhecimento robustos e de alta qualidade sem treinamento supervisionado massivo ou infraestrutura de nuvem cara.

• Engenharia de Prompt > Escolha do Modelo: A otimização do prompt e a correspondência de sinônimos foram os fatores determinantes para o desempenho, superando a escolha do modelo base.
• Diversidade Arquitetural vs. Estocástica: A combinação de autoconsistência (diversidade estocástica) com roteamento para um segundo modelo (diversidade arquitetural) é superior a simples votação entre muitos modelos.
• Limitações: O teto de desempenho em tarefas de raciocínio multi-hop é limitado principalmente pela falta de conhecimento factual nos dados de treinamento (51.6% dos erros em perguntas difíceis) e não apenas pela capacidade de raciocínio. Além disso, os dados sintéticos para T2Q e RAG introduzem um risco de viés circular.
• Futuro: O estudo sugere a expansão para domínios verticais (médico, jurídico), idiomas não-ingleses e mecanismos de recuperação de contexto para preencher lacunas de conhecimento factual.

Em suma, o artigo valida a abordagem de IA Frugal, onde a inteligência coletiva artificial (via diversidade de modelos e amostragem) e a engenharia de prompt cuidadosa permitem superar as limitações de modelos individuais, alcançando desempenho competitivo com recursos mínimos.