Critical Confabulation: Can LLMs Hallucinate for Social Good?

Este artigo propõe e avalia o conceito de "confabulação crítica", demonstrando que o uso controlado de alucinações em Modelos de Linguagem de Grande Escala (LLMs) pode preencher lacunas históricas causadas por desigualdades sociais e políticas, permitindo a reconstrução de narrativas precisas sobre figuras ocultas da história sem comprometer a fidelidade factual.

O essencial

Imagine que a história da humanidade é um quebra-cabeça gigante. A maioria das peças está lá, mas muitas delas foram perdidas, escondidas ou jogadas fora porque as pessoas que as criaram não tinham poder ou voz. Essas peças perdidas são as histórias de pessoas comuns, escravizados, mulheres e minorias que a história oficial esqueceu.

Este artigo de pesquisa pergunta: E se pudéssemos usar a "imaginação" das Inteligências Artificiais (IA) para tentar adivinhar onde essas peças faltam, sem inventar mentiras, mas sim preenchendo os buracos com o que é provável que tenha acontecido?

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Silêncio" dos Arquivos

Os historiadores sabem que os arquivos oficiais (livros, jornais, documentos do governo) têm muitos "buracos". É como se alguém tivesse rasgado páginas de um diário antigo.

• A Analogia: Imagine um livro de receitas de família onde alguém rasgou todas as páginas sobre como a avó fazia o bolo de chocolate. Você sabe que ela fazia, sabe os ingredientes básicos, mas não sabe o segredo exato.
• O Conceito Acadêmico: Isso é chamado de "silêncio arquivístico". A pesquisa diz que esses buracos existem porque a sociedade ignorou ou apagou certas pessoas.

2. A Solução: "Confabulação Crítica" (O Preenchimento Inteligente)

Normalmente, quando uma IA inventa algo que não é verdade, chamamos isso de "alucinação" (um erro). Mas os autores propõem uma ideia diferente: a Confabulação Crítica.

• A Analogia: Pense em um detetive muito esperto que chega a uma cena de crime com poucas pistas. Em vez de dizer "não sei", ele usa o que sabe sobre o bairro, o clima e o comportamento humano para criar uma história provável do que aconteceu. Ele não inventa um monstro alienígena; ele diz: "Provavelmente foi o vizinho, porque ele estava nervoso e tinha um motivo".
• O que a IA faz: A IA usa o que ela sabe sobre o contexto histórico (a época, a cultura, a linguagem) para "preencher" o buraco no arquivo com uma história que faz sentido, baseada em evidências reais, mas que ainda é uma reconstrução.

3. O Experimento: O Jogo do "Falta uma Peça"

Os pesquisadores criaram um teste para ver se as IAs conseguiam fazer isso bem.

• O Cenário: Eles pegaram documentos reais e pouco conhecidos sobre a história negra americana (o "Black Writing and Thought Collection").
• O Jogo: Eles pegaram a linha do tempo de uma pessoa histórica "escondida" (alguém que não é famoso) e apagaram um evento importante, colocando uma máscara [MASK].
  • Exemplo: "1973: A polícia atirou em Tyrone. 1974: A comunidade ficou furiosa. 1975: [MASK]. 1979: O Partido Pantera Negra protestou."
• A Pergunta: A IA consegue adivinhar o que aconteceu em 1975, baseada apenas no que aconteceu antes e depois?

4. Os Resultados: A IA é um Bom "Co-criador"

O estudo testou várias IAs (algumas abertas e auditadas, outras privadas como o GPT).

• O que funcionou: As IAs conseguiram criar histórias que faziam muito sentido. Elas não inventaram coisas loucas; elas usaram a lógica da época. Por exemplo, se a comunidade estava furiosa antes, a IA sugeriu protestos ou reuniões para 1975, o que é historicamente plausível.
• O Segredo: Funcionou melhor quando os pesquisadores deram "dicas" na pergunta (o prompt), como dizer: "Escreva um evento sobre o papel dessa pessoa na comunidade".
• A Limitação: A IA não é perfeita. Ela ainda erra, especialmente em eventos complexos ou mentais (o que a pessoa estava pensando), mas é muito boa em eventos físicos e sociais (o que a pessoa fez ou disse).

5. Por que isso é importante?

A ideia não é substituir historiadores humanos nem dizer que a IA sabe a verdade absoluta.

• A Analogia Final: Imagine que a IA é um assistente de pesquisa super-rápido. Ela pode ler milhões de documentos em segundos e dizer ao historiador humano: "Ei, olhe aqui! A história diz que a pessoa estava em X, e depois em Y. O que aconteceu no meio? Talvez ela tenha feito Z? Vamos investigar essa possibilidade."
• O Objetivo: Isso ajuda a dar voz a quem foi silenciado. Em vez de deixar o buraco vazio, a IA ajuda a sugerir como preencher esse espaço com respeito e base histórica, permitindo que as pessoas "invisíveis" da história voltem a ter uma presença, mesmo que parcial.

Resumo em uma frase

Este artigo mostra que, se usarmos a IA com cuidado e ética, ela pode ser uma ferramenta poderosa para "reconstruir" as histórias perdidas de pessoas marginalizadas, transformando o erro de "inventar coisas" em uma ferramenta de justiça social e descoberta histórica.

Resumo técnico

Título: Crítica da Confabulação: Podem os LLMs Alucinar para o Bem Social?

Autores: Peiqi Sui (McGill), Eamon Duede (Purdue), Hoyt Long (Chicago), Richard Jean So (Duke).

---

1. Problema e Motivação

O artigo aborda um paradoxo fundamental na aplicação de Grandes Modelos de Linguagem (LLMs) nas humanidades digitais:

• O Problema da "Silêncio Arquivístico": Muitos registros históricos, especialmente sobre figuras marginalizadas ("figuras ocultas" ou hidden figures), foram apagados devido à violência institucional, repressão social e desigualdade política. Os arquivos existentes contêm lacunas (lacunae) que impedem a reconstrução fiel dessas narrativas.
• A Limitação da Facticidade Estrita: Uma abordagem puramente factual e baseada em evidências diretas falha ao lidar com essas lacunas, pois tende a overfitar (superajustar) aos critérios do que sobreviveu no arquivo, silenciando ainda mais as histórias divergentes.
• O Papel da "Alucinação": Tradicionalmente, a "alucinação" em LLMs é vista como um defeito. No entanto, o artigo propõe que um subconjunto de alucinações, chamado de confabulação (narrativas autoconsistentes que imitam a realidade), pode ser uma ferramenta valiosa se for cuidadosamente delimitada.
• Conceito Chave: Inspirado na "fabulação crítica" de Saidiya Hartman (uma metodologia das humanidades que usa a especulação narrativa para preencher lacunas arquivísticas de forma ética), os autores propõem a Confabulação Crítica. O objetivo é usar LLMs para "preencher as lacunas" em linhas do tempo históricas, gerando narrativas plausíveis e baseadas em evidências para figuras históricas apagadas, sem colapsar a especulação em falsas verdades factuais.

2. Metodologia

Os autores operacionalizam a confabulação crítica como uma tarefa de cloze narrativa (preenchimento de lacunas) em um cenário controlado.

A. Conjunto de Dados (Ground Truth)

• Corpus: Utilizaram o Black Writing and Thought Collection (BWTC), um arquivo digital de fontes primárias sobre a história intelectual negra, incluindo textos inéditos, entrevistas e transcrições de julgamentos.
• Figuras Ocultas: Identificaram 156 "figuras ocultas" (nomes raros ou ausentes em corpora de treinamento comuns) dentro do BWTC.
• Linhas do Tempo: Para cada figura, extraíram linhas do tempo cronológicas baseadas em documentos reais, onde cada evento é uma frase única e atribuída.
• Tarefa: Simularam uma lacuna histórica substituindo um evento real na linha do tempo pelo token [MASK]. O modelo deve reconstruir o evento ausente.

B. Auditoria de Contaminação de Dados

Para garantir que os modelos não estivessem apenas memorizando os dados de teste (o que invalidaria a tarefa de "reconstrução baseada em evidências"):

• Focaram no modelo OLMo-2 (totalmente aberto e com dados de treinamento públicos).
• Realizaram uma auditoria em duas etapas:
  1. Busca de Substring (Boyer-Moore): Varredura exaustiva de sentenças do BWTC contra o conjunto de dados de treinamento do OLMO-2.
  2. Análise de Similaridade Cosine: Verificação comportamental para detectar se o modelo completava textos do conjunto "visto" com maior precisão do que os "não vistos".
• Filtragem: Documentos marcados como "VISTOS" (SEEN) foram removidos, garantindo que a avaliação fosse feita apenas sobre história "inédita" para o modelo.

C. Configuração Experimental

• Modelos Avaliados: Família OLMO-2 (auditada, 1B a 32B) e uma variedade de modelos não auditados (Qwen, Gemma, Llama, Phi, Mistral, GPT-4o, GPT-5-CHAT).
• Prompts: Testaram vários prompts, incluindo:
  • Base: Instrução simples de preenchimento.
  • Com Hint de Tipo de Evento: Fornecer a categoria do evento (ex: "Relacional", "Cognitivo").
  • Prompts de Confabulação: Instruções que incentivam explicitamente a criatividade ou a "reparação" histórica (ex: "Você é um historiador do Projeto 1619...").
• Avaliação:
  • Não usaram métricas de exatidão literal (que seriam injustas para dados perdidos).
  • Usaram similaridade semântica baseada em embeddings (modelo story-emb) para medir a verossimilhança narrativa entre a geração do modelo e a verdade fundamental (ground truth).
  • Validação humana por especialistas em estudos afro-americanos para confirmar a precisão dos eventos e tipos.

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Introduz a "Confabulação Crítica" como uma tarefa válida para LLMs, deslocando o foco da eliminação total de alucinações para o controle ético e útil delas.
2. Framework de Avaliação Rigoroso: Desenvolveu um pipeline robusto para avaliar a reconstrução de histórias apagadas, incluindo auditorias rigorosas de contaminação de dados e validação humana especializada.
3. Demonstração de Viabilidade: Prova que LLMs podem atuar como co-criadores viáveis para humanistas, ajudando a identificar e reconstruir narrativas divergentes em grandes arquivos, escalando o trabalho de "reparação arquivística".
4. Insights sobre Prompting: Mostra que a estrutura do prompt (especialmente a especificação do tipo de evento) é crucial para direcionar a "alucinação" para resultados úteis e historicamente plausíveis.

4. Resultados Chave

• Desempenho Geral: A tarefa é extremamente desafiadora. A maioria dos modelos fica abaixo de 50% de precisão (baseada na similaridade semântica). O modelo GPT-5-CHAT liderou com até 59,7% de precisão sob prompts específicos.
• Efeito do Prompt:
  • A precisão é altamente sensível ao prompt.
  • Fornecer o tipo de evento (ex: "Role", "Relational") como dica aumentou consistentemente o desempenho em 2-10 pontos em quase todos os modelos.
  • Prompts que incentivam explicitamente a "confabulação" ou a "reparação social" tendem a gerar melhores resultados do que prompts neutros ou de detecção de alucinação (como HaluEval).
• Tipos de Eventos:
  • Modelos performam melhor em eventos de "Role" (funções, cargos, biografia) e "Relational" (interações).
  • Performam pior em eventos "Cognitivos" (estados internos, opiniões, mudanças de postura), que são mais difíceis de inferir sem evidências textuais diretas.
• Fatores Estruturais:
  • Comprimento do Evento: Eventos mais longos correlacionam-se com maior precisão (mais contexto local ajuda).
  • Comprimento da Linha do Tempo: Linhas do tempo mais longas correlacionam-se com menor precisão (dificuldade em manter dependências de longo alcance).
  • Posição: A precisão é maior no início da linha do tempo e diminui em direção ao final.
• Modelos Auditados vs. Não Auditados: Não houve evidência estatística significativa de que modelos não auditados tivessem vantagem devido à memorização de dados de teste, sugerindo que a capacidade de reconstrução é uma habilidade geral do modelo e não apenas um efeito de "vazamento" de dados.
• Robustez Estocástica: O desempenho é relativamente estável em diferentes temperaturas de amostragem, embora temperaturas muito altas (1.2) causem uma queda moderada na precisão.

5. Significado e Implicações

• Para NLP (Processamento de Linguagem Natural): O trabalho desafia a visão binária de que "alucinação = erro". Ele demonstra que, em contextos específicos (como humanidades digitais), a capacidade de gerar narrativas plausíveis pode ser um recurso otimizável para a produção de conhecimento, especialmente quando a verdade absoluta é inacessível.
• Para as Humanidades: Oferece uma ferramenta tecnológica para lidar com o "silêncio arquivístico". Permite que estudiosos escalem a recuperação de histórias de figuras marginalizadas, usando LLMs para prototipar reconstruções candidatas que podem ser refinadas por humanos.
• Ética e Responsabilidade: O artigo enfatiza que a confabulação crítica não deve inventar novas realidades históricas, mas sim criar contra-narrativas de alta fidelidade ancoradas no contexto da lacuna. O trabalho inclui declarações éticas sobre proveniência de dados, compensação de anotadores e o uso de LLMs apenas para polimento, não para ideação de pesquisa.

Conclusão:
O artigo estabelece que, embora a reconstrução histórica perfeita seja difícil, os LLMs possuem capacidades narrativas fundamentais que, quando guiadas por prompts éticos e bem especificados, podem apoiar a recuperação de histórias apagadas. A "Confabulação Crítica" surge como uma metodologia promissora para unir a escalabilidade da IA com a sensibilidade necessária das humanidades para lidar com o trauma e a omissão histórica.