A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

Imagine que você está lendo uma história escrita por um robô muito talentoso, mas levemente travesso. Este robô é um especialista em "sumarização abstrativa", que é apenas uma maneira sofisticada de dizer que ele lê um artigo longo e escreve uma versão curta e impactante com suas próprias palavras. Ele é ótimo em soar natural e fluente; suas frases fluem como um rio. Mas aqui está o detalhe: às vezes, em sua busca para parecer legal, o robô inventa coisas. Ele pode manter os nomes das pessoas corretos, mas trocar quem fez o quê para quem. É como um âncora de telejornal dizendo: "O Presidente assinou o tratado", quando o documento na verdade diz: "O tratado foi assinado pelo Secretário". As palavras estão lá, mas a verdade é distorcida. Isso é chamado de "alucinação" e, no mundo da inteligência artificial, é um grande problema porque precisamos que nossos resumos sejam não apenas bonitos, mas verdadeiros.

Por muito tempo, cientistas tentando capturar esses robôs mentirosos usaram ferramentas que eram como verificar uma lista de compras. Eles contavam quantas palavras o robô usou que também estavam no artigo original. Se o robô usasse a palavra "maçã" e o original tivesse "maçã", isso contava um ponto a seu favor. Mas isso é como julgar um chef pelo número de ingredientes que ele usou, sem provar o prato. Você poderia ter uma tigela cheia de ingredientes crus e não cozidos que combina perfeitamente com a lista, mas ainda assim é uma refeição terrível. As ferramentas antigas eram boas em verificar se o robô lembrava dos nomes, mas eram péssimas em verificar se ele lembrava das relações entre esses nomes. Elas não consegravam distinguir entre um robô que dizia a verdade e um que contava uma mentira muito convincente.

É aqui que uma equipe de pesquisadores do IIIT Bhubaneswar e alguns parceiros da indústria entram com um novo par de óculos, mais afiados. Eles perceberam que, para pegar um mentiroso, você não apenas conta palavras; você precisa entender a estrutura da história. Eles construíram um novo framework para avaliar resumos que atua como um detetive procurando por "alucinações de nível de relação". Em vez de apenas perguntar: "Você usou as palavras certas?", eles perguntam: "Você conectou os pontos certos?".

Os pesquisadores criaram um novo sistema de pontuação chamado Relation Hallucination Index (RHI). Pense no texto original como uma teia complexa de fios conectando diferentes personagens e eventos. Um bom resumo deve manter esses fios intactos. Um resumo alucinante pode cortar um fio e prendê-lo à pessoa errada. As ferramentas antigas perderiam isso porque os personagens (as palavras) ainda estariam lá. O novo RHI, porém, é projetado para rastrear cada um dos fios. Ele utiliza um processo sofisticado para decompor o texto em pequenos blocos de construção chamados "triplas" — basicamente, um Sujeito (quem), um Verbo (fez o quê) e um Objeto (para quem).

Para garantir que essas triplas fossem precisas, a equipe não usou apenas um scanner básico. Eles construíram um motor de extração "consciente de dependência". Imagine este motor como um editor muito cuidadoso que não apenas lê as palavras, mas entende a gramática profundamente. Ele sabe como lidar com frases complicadas onde o sujeito está oculto (como na voz passiva, "A bola foi lançada" torna-se "Alguém lançou a bola"). Ele sabe como ignorar palavras que apenas relatam fala (como "Ele disse que...") e focar nos fatos reais. Ele até limpa as palavras, convertendo-as para sua forma base (mudando "correndo" para "correr") para não se confundir com diferentes tempos verbais. Isso garante que, quando compararem o resumo do robô com o original, estejam comparando maçãs com maçãs, não maçãs com tortas de maçã.

A equipe testou este novo sistema em um enorme playground de dados. Eles usaram três tipos diferentes de conjuntos de dados de notícias: XSUM (que possui resumos muito curtos e altamente criativos), XLSUM (que possui notícias de muitos países e idiomas) e o conjunto de dados CNN/DailyMail (que possui histórias mais longas e detalhadas). Eles pediram a quatro modelos famosos de IA — BART-large-CNN, PEGASUS, T5-large e GPT-3.5 — para escreverem resumos de 800 diferentes notícias. Eles também incluíram um resumo de "referência humana" para ver o quão perto os robôs poderiam chegar de uma pontuação humana perfeita.

Os resultados foram reveladores. Quando usaram as ferramentas antigas de contagem de palavras, o PEGASUS frequentemente parecia o vencedor porque usava muitas das mesmas palavras do original. Mas quando os pesquisadores aplicaram a nova pontuação RHI, a imagem mudou. O BART na verdade obteve a pontuação mais alta na preservação das verdadeiras relações entre os eventos, mesmo que não usasse sempre as mesmas palavras exatas. O GPT-3.5, embora fosse bom em algumas coisas, mostrou muita "variabilidade de inserção de relação", o que significa que às vezes inventava novas conexões que não estavam lá. O estudo descobriu que a nova pontuação RHI era muito melhor em detectar essas mentiras sutis do que os métodos antigos.

Uma das coisas mais interessantes que descobriram é que a nova pontuação é "normalizada". Isso significa que ela funciona bem tanto se você estiver olhando para um resumo curto e direto quanto para um longo e detalhado. Eles decomporam os erros em diferentes categorias: coisas que o modelo acertou, coisas que ele inventou, coisas que ele perdeu e coisas que ele errou. Ao olhar para essas partes, eles pudiam ver exatamente como um modelo estava falhando. Por exemplo, descobriram que, embora alguns modelos fossem bons em manter os fatos principais, eram terríveis em lidar com afirmações negativas (como "A empresa não faliu").

Os pesquisadores realizaram testes estatísticos para garantir que suas descobertas não fossem apenas sorte. Eles descobriram que as diferenças nas pontuações entre os modelos eram significativas, o que significa que a nova pontuação RHI é uma forma confiável de distinguir um resumo bom e verdadeiro de um ruim e alucinado. Eles também mostraram que seu novo método é melhor do que o antigo "Entity Hallucination Index" (que apenas verificava se os nomes estavam corretos) porque verifica as ações e as conexões entre esses nomes.

No fim, este artigo sugere que, se queremos que a IA seja confiável, precisamos parar de apenas contar palavras e começar a verificar a lógica da história. O novo Relation Hallucination Index oferece uma maneira de fazer exatamente isso. Ele não diz apenas se um resumo soa bem; ele diz se a história que ele conta é realmente verdadeira. Os autores esperam que, no futuro, esse tipo de pontuação possa ser usado para treinar modelos de IA para serem mais honestos, ajudando-os a aprender que ser fluente não é suficiente — é preciso ser fiel aos fatos também.