💬 NLP

Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores

Este trabalho padroniza a medição da diversidade textual ao investigar a validade convergente de métricas existentes e lançar o pacote Python "diversity", demonstrando que uma combinação de algoritmos de compressão e métricas de repetição é suficiente para avaliar a variedade em textos gerados por LLMs.

Autores originais: Chantal Shaib, Venkata S. Govindarajan, Joe Barrow, Jiuding Sun, Alexa F. Siu, Byron C. Wallace, Ani Nenkova

Publicado 2026-02-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chantal Shaib, Venkata S. Govindarajan, Joe Barrow, Jiuding Sun, Alexa F. Siu, Byron C. Wallace, Ani Nenkova

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de cozinheiros (os Modelos de Linguagem, ou LLMs) e pede a todos que preparem o mesmo prato: um "resumo de notícias".

Alguns cozinheiros são criativos e cada um traz um toque único. Outros são robóticos e repetem exatamente a mesma receita, com as mesmas palavras e a mesma estrutura, não importa quantas vezes você peça.

O problema é: como medir quem é criativo e quem é repetitivo? Até agora, não havia uma régua padrão para isso. Os pesquisadores deste artigo decidiram criar essa régua e uma "caixa de ferramentas" para ajudar todos a medir a diversidade de textos.

Aqui está a explicação do trabalho deles, traduzida para uma linguagem simples:

1. O Problema: A "Fadiga" dos Textos

Quando usamos IAs para escrever, elas tendem a ficar entediadas e repetir frases, como um disco riscado. Às vezes, elas usam sempre a mesma estrutura de resposta (o famoso "canned response" ou resposta pronta).

O desafio: É fácil notar quando um texto é repetitivo em uma página, mas é impossível ver isso visualmente quando temos milhares de textos. Além disso, não sabíamos qual "medidor" usar para dizer: "Este texto é mais repetitivo que aquele".

2. A Solução: A "Caixa de Ferramentas" (Diversity)

Os autores criaram um pacote de software gratuito chamado diversity. Pense nele como um detector de plágio e repetição superpotente.

O que ele faz: Ele analisa seus textos e diz: "Ei, você está repetindo muito essa frase" ou "Olha como a estrutura das frases é sempre a mesma".
A Interface Visual: Eles também criaram um site onde você pode subir seus textos e ver, colorido e interativo, onde estão as repetições. É como ter uma lupa mágica que destaca os trechos "preguiçosos" do texto.

3. Os Medidores: Como eles medem a criatividade?

O artigo testou vários métodos para ver qual funcionava melhor. Eles descobriram algumas coisas interessantes usando analogias:

A Regra da "Compressão" (O Medidor Rápido):
Imagine que você tem um texto gigante. Se você tentar comprimi-lo em um arquivo ZIP (como no seu computador), o que acontece?
- Se o texto é muito repetitivo (o mesmo padrão várias vezes), o arquivo fica muito pequeno quando comprimido.
- Se o texto é diverso e cheio de novidades, o arquivo não diminui tanto.
- A descoberta: Os autores descobriram que essa "taxa de compressão" é um jeito rápido e fácil de medir a diversidade. Não precisa de supercomputador; basta ver o tamanho do arquivo ZIP.
A "Fita de Repetição" (Self-BLEU e Repetição):
Eles também mediram quão parecido um texto é com os outros textos gerados pelo mesmo modelo. É como pegar todas as respostas de um aluno e ver se ele copiou a mesma frase em todas as provas.
- Eles descobriram que a "Compressão" e a "Repetição de frases longas" são os melhores amigos para medir isso.
O Medidor "Semântico" (BERTScore):
Eles tentaram usar um medidor que entende o significado das palavras (não apenas as palavras em si).
- O resultado: Esse medidor foi um pouco decepcionante. Ele não conseguiu distinguir bem entre um texto humano criativo e um texto de IA repetitivo. Foi como tentar usar um termômetro para medir a umidade: não é a ferramenta certa.

4. O Grande Vilão: O Tamanho do Texto

Aqui está a parte mais importante: O tamanho do texto engana.

Se um texto é muito longo, ele naturalmente parece menos diverso (porque tem mais chance de repetir palavras só por volume).
Se um texto é curto, parece mais diverso.
A lição: Você nunca pode comparar a diversidade de um texto curto com um longo sem ajustar a régua. É como comparar a velocidade de um carro de Fórmula 1 com a de uma bicicleta apenas olhando para a distância percorrida, sem considerar o tempo. O artigo avisa: sempre meça o tamanho do texto junto com a diversidade.

5. Conclusão: O Que Fazer Agora?

Os pesquisadores concluíram que, para saber se uma IA está sendo criativa ou repetitiva, você não precisa de 100 ferramentas diferentes. Você só precisa de três:

Taxa de Compressão: Para ver o quanto o texto é redundante (rápido e fácil).
Repetição de Frases Longas: Para ver se a IA está "cantando a mesma música".
Self-BLEU: Para ver a similaridade geral entre as respostas.

Resumo da Ópera:
Este artigo é como entregar um kit de primeiros socorros para quem trabalha com IAs. Em vez de adivinhar se o texto é bom ou repetitivo, agora temos uma régua padronizada, gratuita e fácil de usar. E o segredo? Às vezes, a maneira mais inteligente de medir a criatividade de um texto é simplesmente ver o quanto ele "encolhe" quando você tenta comprimi-lo.

1. O Problema

A diversidade textual nos outputs gerados por Modelos de Linguagem (LLMs) é um fator crucial para a percepção de sua qualidade e utilidade. Textos com baixa diversidade (excessivamente repetitivos ou "padronizados") são frequentemente indesejáveis. No entanto, o campo carece de uma padronização na medição e reporte dessa diversidade.

Desafios Atuais: Não existe um método padrão para quantificar a repetição de conteúdo ("boilerplate") em grandes corpora. Métricas existentes são diversas, mas sua validade convergente (se elas medem a mesma coisa) não foi sistematicamente investigada.
Viés de Comprimento: O comprimento do texto é um fator de confusão significativo; textos mais longos tendem a ter métricas de diversidade diferentes apenas devido ao volume, dificultando comparações justas entre modelos ou datasets.
Visualização: É difícil visualizar padrões de repetição (como estruturas templadas) em grandes conjuntos de dados de forma intuitiva.

2. Metodologia

Os autores abordaram o problema através de três frentes principais: desenvolvimento de ferramentas, análise empírica de métricas e avaliação de validação convergente.

A. Ferramentas Desenvolvidas

Pacote diversity (Python): Uma biblioteca de código aberto que implementa diversas métricas de diversidade, incluindo:
- Diversidade Léxica/Sintática: Uso de NLTK e SpaCY para extração de n-grams e tags de partes do discurso (PoS).
- Métricas de Repetição: Auto-BLEU, Auto-ROUGE, Auto-BERTScore, Auto-Repitition (focada em n-grams longos, $n \ge 4$ ).
- Razões de Compressão: Uso de algoritmos de compressão (gzip) para medir redundância.
- Métricas Baseadas em Embeddings: Distância de Chamfer e Remote Clique.
- QUDSim: Medição de similaridade de discurso baseada em Estruturas de Questões Subjacentes (QUD).
Interface Web (UI): Uma plataforma interativa que permite aos usuários:
- Visualizar padrões de PoS e textos repetidos exatos.
- Calcular métricas de diversidade rapidamente.
- Destacar e correspondar repetições em documentos.

B. Análise Empírica e Correlação

Os autores avaliaram a validade convergente de várias métricas existentes aplicando-as a outputs de seis LLMs (incluindo Llama-2, GPT-4, Mistral, FlanT5, etc.) em dois datasets de sumarização de notícias em inglês: CNN/DailyMail e XSUM.

Controle de Comprimento: Reconhecendo que o comprimento do texto distorce as métricas, os autores realizaram análises truncando os textos para o tamanho do resumo mais curto, permitindo comparações justas.
Análise de Correlação: Foram calculadas correlações entre pares de métricas para identificar redundância e complementaridade.

3. Principais Contribuições

Padronização e Ferramenta: Introdução do pacote diversity e da UI associada, fornecendo um padrão aberto e acessível para medir e visualizar a diversidade textual.
Descoberta de Métricas Eficientes: Identificação de que Razões de Compressão (CR) são métricas rápidas e eficazes que capturam informações semelhantes a métricas de sobreposição de n-grams mais lentas.
Conjunto de Métricas Recomendado: Proposição de um conjunto mínimo de métricas que oferecem informações complementares (baixa correlação entre si):
- Razão de Compressão (CR) e CR de PoS.
- Auto-Repitição (Self-Repetition) de n-grams longos.
- Auto-BLEU.
Análise de Viés: Evidência robusta de que o comprimento do texto é um confundidor crítico e que métricas como Homogenização via BERTScore têm utilidade limitada na detecção de diferenças entre humanos e máquinas em sumarização.

4. Resultados Chave

Correlação e Redundância: A Razão de Compressão (CR) correlaciona-se fortemente com a maioria das outras métricas baseadas em n-grams (como NGD e MATTR). Isso sugere que o CR pode substituir métricas mais complexas e lentas em muitos cenários.
Desempenho das Métricas:
- CR de PoS: Foi a métrica que melhor identificou diferenças entre textos humanos e gerados por modelos.
- Auto-Repitição: Destacou-se por identificar repetições de sequências longas, sendo moderadamente correlacionada com o CR, o que a torna uma métrica complementar valiosa.
- Auto-BLEU: Apresentou baixa correlação com o CR e outras métricas, sendo um bom complemento para relatórios.
- Homogenização (BERTScore): Mostrou-se menos útil, pois não conseguiu distinguir claramente entre textos humanos e de modelos, variando pouco mesmo após ajuste de comprimento.
Impacto do Comprimento: Sem o controle de comprimento, modelos que geram textos mais longos (como o StableLM) aparecem artificialmente como menos diversos. Após o truncamento, a classificação dos modelos muda, revelando que alguns modelos (como Llama-2 e StableLM no CNN/DM) são de fato os mais repetitivos.
Desempenho Computacional: Métricas baseadas em compressão são extremamente rápidas, enquanto métricas baseadas em pares (como Self-BLEU e BERTScore) tornam-se computacionalmente inviáveis para grandes datasets (ex: 50k instruções podem levar de 48 a 800 horas).

5. Significado e Conclusão

O trabalho estabelece um novo padrão para a avaliação da diversidade em NLG (Geração de Linguagem Natural). Ao fornecer ferramentas acessíveis e identificar um conjunto de métricas robustas e eficientes, os autores permitem que pesquisadores:

Detectem e visualizem "templates" e repetições indesejadas em outputs de LLMs.
Façam comparações justas entre modelos, mitigando o viés de comprimento.
Otimizem estratégias de decodificação e alinhamento de modelos com base em métricas de diversidade computacionalmente viáveis.

A conclusão central é que a combinação de Razão de Compressão (CR), Auto-Repitição e Auto-BLEU é suficiente para relatar a diversidade de forma eficaz, desde que o comprimento do texto seja sempre reportado e considerado como uma variável de confusão.