ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers

O artigo apresenta o ConCISE, uma nova métrica sem referência para avaliar a concisão de respostas geradas por modelos de linguagem, que quantifica conteúdo não essencial através da média de três métodos de compressão sem depender de anotações humanas ou referências padrão.

O essencial

Imagine que você pediu a um assistente de IA para explicar como fazer um bolo. Um bom assistente daria a receita direta: "Misture farinha, ovos e açúcar, e asse por 30 minutos". Mas, infelizmente, muitos assistentes de IA modernos tendem a ser "tagarelas". Eles começam a contar a história da farinha, explicar a química dos ovos, dar dicas de como escolher o açúcar e terminar com um poema sobre o cheiro do bolo. O resultado? Você recebe a resposta certa, mas tem que ler 10 páginas para achar os 3 passos importantes. Isso cansa, confunde e ainda custa mais caro (já que muitas IAs cobram por cada palavra que geram).

Foi para resolver esse problema que os autores deste artigo criaram o ConCISE.

O que é o ConCISE?

Pense no ConCISE como um "Detector de Encheção de Linguagem" automático. É uma ferramenta que analisa a resposta de uma IA e diz: "Ei, essa resposta está muito gorda! Tem muita gordura (informação inútil) e pouca carne (informação útil)".

O grande diferencial é que ele não precisa de um "gabarito" ou de um professor humano para corrigir. Ele é autossuficiente.

Como ele funciona? (A Analogia da Cozinha)

Para medir se uma resposta é concisa, o ConCISE usa três truques de "cozinha" mental, todos feitos por outra IA:

1. O Resumo de Chef (Resumo Abstrativo): A IA tenta reescrever a resposta original com suas próprias palavras, como se fosse um chef resumindo a receita para um amigo. Se a resposta original era um livro de 50 páginas e o resumo do chef é de 2 páginas, a diferença mostra o quanto de "encheção" existia.
2. O Cortador de Gordura (Resumo Extrativo): A IA pega a resposta original e apenas "corta" as partes que não são essenciais, mantendo apenas as frases mais importantes, como se alguém estivesse tirando o excesso de gordura de um bife.
3. O Podador de Jardim (Remoção de Palavras): A IA tenta remover o máximo possível de palavras da resposta original sem mudar o significado. É como podar um arbusto: você corta os galhos secos e folhas mortas para que a planta (a resposta) fique bonita e funcional.

O ConCISE pega a média desses três testes. Quanto mais palavras a IA consegue remover ou resumir sem perder o sentido, maior a pontuação de "concisão" e menor a pontuação de "gordura".

Por que isso é importante?

• Economia: Em muitas empresas, usar IA custa dinheiro por palavra gerada. Respostas curtas e diretas economizam dinheiro.
• Clareza: Ninguém gosta de ler um texto longo para achar uma informação simples.
• Satisfação: Um assistente que vai direto ao ponto é mais útil e agradável de usar.

O Resultado

Os autores testaram essa ferramenta com milhares de perguntas e respostas. Eles compararam a pontuação do ConCISE com a opinião de pessoas reais (humanos).

• O ConCISE acertou em cheio: Ele conseguiu identificar quais respostas eram curtas e diretas quase tão bem quanto um humano.
• Os métodos antigos falharam: Outras ferramentas que tentavam apenas dar uma nota de 0 a 10 para a IA muitas vezes se confundiam, achando que respostas longas eram melhores (o que é um viés comum em IAs).

Conclusão

O ConCISE é como um "filtro de ruído" inteligente. Ele ajuda a garantir que, quando você pedir algo a uma IA, a resposta seja como um bom e-mail: curto, direto ao ponto e sem enrolação, economizando seu tempo e dinheiro, sem precisar de um humano para revisar tudo manualmente. É um passo importante para tornar as conversas com máquinas mais naturais e eficientes.

Resumo técnico

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente geram respostas excessivamente longas e verbosas, repletas de detalhes redundantes ou desnecessários. Isso gera três impactos negativos principais:

• Redução da Clareza e Satisfação: Respostas longas podem sobrecarregar o usuário.
• Aumento de Custos: Para modelos proprietários que cobram por número de tokens de saída, a verbosidade eleva diretamente o custo operacional.
• Limitação das Métricas Atuais: Métricas tradicionais de avaliação (como BLEU ou ROUGE) dependem de textos de referência ("gold standard") e focam em sobreposição lexical ou similaridade semântica, não capturando a verbosidade. Métricas sem referência existentes muitas vezes não avaliam diretamente a concisão.

2. Metodologia (ConCISE)

O artigo propõe o ConCISE, uma nova métrica de avaliação de concisão que opera de forma livre de referência (não requer respostas humanas anotadas como padrão-ouro). A métrica quantifica o conteúdo não essencial calculando a média de três processos distintos, todos realizados por um LLM:

1. Razão de Compressão Abstrativa: O LLM gera um resumo abstrativo (paráfrase) da resposta original. Calcula-se a diferença de comprimento entre a resposta original e este resumo.
2. Razão de Compressão Extrativa: O LLM seleciona as sentenças mais relevantes diretamente do texto original. Calcula-se a diferença de comprimento entre a resposta original e este resumo extrativo.
3. Compressão por Remoção de Palavras (Word-Removal): O LLM tenta remover o máximo possível de palavras não essenciais da resposta, preservando estritamente o significado e as entidades nomeadas. O número de tokens removidos indica o nível de concisão.

Validação Semântica: Antes de calcular a pontuação final, o sistema utiliza um LLM para verificar se as versões resumidas ou podadas mantiveram a equivalência semântica e preservaram todas as entidades nomeadas (datas, locais, etc.) da resposta original. Se o significado for alterado, a compressão é considerada inválida para aquela parte.

Fórmula:
A pontuação final é a média das três taxas de compressão (normalizadas pelo tamanho da resposta original), onde uma maior redução de tamanho (sem perda de significado) resulta em uma pontuação de concisão mais alta.

3. Contribuições Principais

• Nova Métrica Livre de Referência: Proposta do ConCISE, capaz de avaliar a concisão de respostas de LLMs sem depender de anotações humanas ou textos de referência.
• Validação Empírica: Realização de testes extensivos demonstrando a eficácia da métrica e sua alinhamento com o julgamento humano.
• Pioneirismo: É uma das primeiras mecanismos de avaliação que avalia a saída de um LLM com base no seu comprimento e redundância sem a necessidade de respostas de referência douradas (gold standard).

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados WikiEval (perguntas baseadas na Wikipedia). Para criar um cenário de teste, o GPT-4o foi usado para gerar versões verbosas das respostas originais. A avaliação foi feita comparando as pontuações do ConCISE com anotações humanas (escala Likert e comparações pareadas).

• Correlação com Humanos: O ConCISE (usando o modelo GPT-4o como juiz) alcançou uma correlação de Spearman ($r_s$) de 0,628 e Kendall ($\tau$) de 0,523 com as avaliações humanas, ambos estatisticamente significativos ($p < 0,001$).
• Comparação com Baselines:
  • O método de GPT Score (avaliação direta numérica por prompt) mostrou correlação negativa e insignificante ($r_s = -0,108$), indicando que pedir ao LLM para "pontuar" a concisão diretamente não funciona bem.
  • O método de GPT Ranking (escolher a resposta mais concisa entre duas) teve apenas 39% de precisão em alinhamento com humanos.
  • O ConCISE alcançou 94% de precisão em comparações pareadas, superando amplamente as abordagens de ranking direto.
• Robustez: A métrica foi testada com diferentes modelos de juízes (GPT-4o, Claude-4, Gemini-2.0, Mistral-Large-2), mantendo alto desempenho em todos.

5. Significado e Conclusão

O ConCISE oferece uma ferramenta prática e automatizada para avaliar a brevidade de respostas em sistemas de IA conversacional. Sua principal vantagem é a capacidade de identificar redundância sem a necessidade de custosas anotações humanas.

Limitações e Trabalho Futuro:

• Dependência de Contexto: A definição de "conteúdo não essencial" varia por domínio (ex: detalhes regulatórios em finanças podem parecer redundantes, mas são críticos).
• Viés de Prompt: O uso de um único prompt para gerar as três versões de compressão pode introduzir viés cruzado. Trabalhos futuros podem explorar prompts separados para cada técnica.

Em suma, o ConCISE preenche uma lacuna crítica na avaliação de LLMs, permitindo que desenvolvedores otimizem a eficiência e a clareza das respostas geradas por IA de forma escalável e sem dependência de dados de referência.