Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

Nos cantos silenciosos da pesquisa de inteligência artificial, um novo tipo de experimento está ocorrendo. Ele faz uma pergunta que parece simples, mas que corta profundamente: se você pedir a um computador para contar a história da vida de uma pessoa, quanto dessa história é realmente verdadeira? Durante anos, cientistas souberam que esses sistemas, frequentemente chamados de grandes modelos de linguagem, às vezes podem inventar coisas. Eles podem inventar um fato sobre um evento histórico ou alegar que um estudo científico existe quando ele não existe. Isso é geralmente chamado de "alucinação", uma palavra que sugere que a máquina está vendo coisas que não estão lá. Mas quando a máquina é solicitada a escrever uma memória, uma biografia ou um diário pessoal, os riscos mudam. A história não é mais sobre conhecimento geral; é sobre uma vida humana específica. Se a máquina inventar uma memória de infância ou um marco de carreira, ela não está apenas cometendo um erro; ela está reescrevendo a história de uma pessoa. É aqui que o conceito de "confabulação" torna-se importante. Diferente de um erro aleatório, a confabulação é uma fabricação fluente e confiante. A máquina preenche as lacunas com uma história que soa perfeita, parece real e se ajusta ao tom de uma memória, embora os eventos nunca tenham ocorrido. À medida que avançamos para um futuro onde versões digitais de nós mesmos podem escrever nossas biografias, precisamos saber se essas histórias estão fundamentadas na realidade ou construídas sobre uma base de ficção.

Uma pesquisadora chamada Heather Renze decidiu descobrir isso tornando-se seu próprio objeto de estudo. Ela encomendou um livro de um ano, um diário de "uma página por dia", para ser escrito por uma inteligência artificial. O objetivo era criar um livro de presente com 366 entradas diárias, cada uma contando uma pequena história de sua vida em primeira pessoa. O processo foi direto: o computador recebeu um modelo, dois dias de exemplo para mostrar o estilo e uma única citação para cada dia para servir como comando (prompt). Crucialmente, o computador já tinha acesso aos seus registros digitais, mas recebeu apenas uma instrução vaga e superficial para usá-los. Ele teve que confiar em seu próprio conhecimento interno para preencher os detalhes de sua vida. Antes de o livro ser publicado, Renze decidiu auditar cada entrada. Ela tratou o projeto como um experimento científico, verificando cada anedota contra uma vasta coleção de seus próprios documentos verificados, incluindo suas memórias publicadas, seus registros profissionais e seus arquivos pessoais. Ela queria ver, com absoluta precisão, quantas das histórias que a máquina contou eram verdadeiras.

Os resultados foram drásticos. Das 366 dias no livro, apenas 12 entradas continham uma cena que poderia ser positivamente confirmada pelos registros. Isso significa que, para 354 dias, a história que o computador contou não pôde ser verificada como verdadeira. Na linguagem do estudo, isso é uma taxa de falha de quase 9%. A máquina não apenas errou pequenos detalhes; ela construiu cenas inteiras que não tinham base na realidade. Em alguns casos, o computador foi tão confiante que inventou eventos que eram, na verdade, impossíveis ou diretamente contraditos pelos fatos. Por exemplo, a máquina afirmou que ela tinha filhos quando não tinha, ou que ela sobreviveu a um acidente de carro específico que nunca aconteceu. Estes não eram palpites vagos; eram eventos específicos e nomeados que os registros provaram serem falsos. Cerca de 5% dos dias caíram nesta categoria de serem ativamente contraditos pela verdade.

O tipo de erro mais comum, no entanto, foi algo mais sutil. A máquina acertava o cenário, mas inventava a história. Ela identificava corretamente que ela trabalhava em uma determinada empresa ou vivia em uma certa cidade, mas então criava uma cena fictícia em torno desse fato. Poderia dizer que ela teve uma reunião dramática em um escritório que nunca aconteceu, ou que teve uma conversa específica com um colega real que jamais ocorreu. É o que os pesquisadores chamam de "deriva fundamentada" (grounded drift). A máquina estava ancorada à verdade em alguns aspectos, mas se afastava dela para criar uma narrativa que soasse melhor ou mais dramática. Ela conhecia os nomes de seus empregadores e as cidades onde viveu, mas usava esses detalhes reais como um palco para uma peça que nunca ocorreu. Isso é particularmente perigoso porque torna as mentiras mais difíceis de detectar. Uma história que acerta os fatos, mas inventa o núcleo emocional, parece mais digna de confiança do que uma que erra tudo.

Para ter certeza dessas descobertas, o estudo incluiu uma segunda camada de verificação. A auditoria original foi realizada por um sistema de inteligência artificial, o que levantou a questão de se a máquina estava julgando a si mesma de forma justa. Para testar isso, dois avaliadores independentes de uma família de modelos diferente do auditor original revisaram uma amostra aleatória de 60 dias usando exatamente as mesmas regras. Eles concordaram com as descobertas originais quase completamente. Quando questionados para decidir se uma história era verdadeira ou não, eles coincidiram com o veredito original de 95 a 98 por cento das vezes. Isso confirmou que a alta taxa de falha não foi um erro no processo de verificação; as histórias eram, de fato, majoritariamente falsas. Os pesquisadores também tentaram ver se modelos de computador mais novos e poderosos se sairiam melhor. Eles rodaram os mesmos comandos através das versões mais recentes da tecnologia, mas o resultado foi o mesmo: mesmo com acesso aos registros, os novos modelos também falharam em contar a verdade, inventando histórias para cada um dos dias que lhes foram solicitados.

O estudo ofereceu um caminho a seguir, embora não fosse uma solução perfeita. Quando os pesquisadores instruíram o computador de forma explícita e específica a usar apenas a informação contida nos documentos que ele já possuía, a taxa de falha caiu significativamente. O número de dias com cenas verificadas aumentou, e o número de histórias completamente falsas diminuiu. No entanto, mesmo com essa ajuda, a máquina ainda enfrentava dificuldades. Ela continuou a inventar detalhes e a se desviar dos fatos, sugerindo que simplesmente direcionar a máquina para os dados certos não é suficiente para fazê-la dizer a verdade. A máquina ainda parece ter um forte desejo de criar uma narrativa, mesmo quando os fatos estão bem diante dela.

Este experimento revela um limite fundamental em como podemos usar a inteligência artificial para contar nossas histórias. Se pedirmos a uma máquina para escrever nossa biografia sem uma orientação rigorosa sobre como usar nossos dados, ela provavelmente preencherá as lacunas com ficção. Ela criará uma versão de nós que é coerente e envolvente, mas será uma versão que nunca existiu. O estudo sugere que, para qualquer sistema que pretenda simular a vida de uma pessoa, não podemos confiar nos detalhes de suas experiências diárias, a menos que esses detalhes sejam verificados contra um registro comprovado. A máquina pode imitar a voz de uma pessoa, mas ainda não consegue se lembrar de sua vida. A confiança que depositamos em um gêmeo digital ou em uma biografia sintética deve ser limitada ao nível superficial de atitudes e fatos gerais, porque os momentos específicos que compõem uma vida, as cenas, as conversas, os pequenos dramas, são onde a máquina mais frequentemente falha. A lição é clara: se quisermos uma história verdadeira, devemos fornecer os fatos e devemos verificar o trabalho, pois a máquina felizmente inventará uma vida para nós se permitirmos.