ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers

Ce papier présente ConCISE, une nouvelle métrique d'évaluation sans référence qui quantifie la concision des réponses générées par les grands modèles de langage en calculant la moyenne de trois mesures de compression pour identifier le contenu non essentiel sans nécessiter d'annotations humaines.

L'essentiel

🎙️ Le Problème : Les LLMs qui "font trop de bruit"

Imaginez que vous posez une question simple à un ami très bavard : "Quelle est la capitale de la France ?"
Au lieu de répondre simplement "Paris", votre ami vous raconte l'histoire de la ville, la géographie de la Seine, les noms de tous les maires depuis 1800, et fait un petit discours sur le tourisme. C'est verbeux. C'est long, ça coûte cher (en temps et en argent pour les entreprises qui utilisent ces modèles), et ça finit par vous ennuyer.

Les Grands Modèles de Langage (LLM), comme ceux qui font tourner les chatbots actuels, ont souvent ce défaut : ils aiment trop en dire. Ils remplissent leurs réponses de détails inutiles, un peu comme un étudiant qui écrit trois pages pour dire deux mots, juste pour faire joli.

🛠️ La Solution : ConCISE (Le "Racourcisseur" Intelligent)

Les auteurs de cet article (de la Commonwealth Bank of Australia) ont créé un nouvel outil appelé ConCISE. C'est une règle de mesure qui permet de dire : "Est-ce que cette réponse est trop longue ?"

Le génie de ConCISE, c'est qu'il n'a pas besoin d'une "réponse parfaite" écrite par un humain pour comparer. Il fonctionne tout seul, comme un chef cuisinier qui goûte son plat sans avoir besoin d'un livre de cuisine.

Voici comment ConCISE fonctionne, avec une analogie culinaire :

Imaginez que la réponse du robot est un gâteau géant rempli de crème, de fruits et de décorations. ConCISE va essayer de le réduire à sa forme la plus pure (juste le gâteau) de trois manières différentes, puis il compare les poids :

1. Le Résumé "Abstrait" (Le Chef qui réécrit la recette) :
   ConCISE demande à un autre robot : "Réécris ce gâteau en gardant le goût, mais en enlevant tout le superflu."

   • Analogie : C'est comme si un chef prenait une recette de 10 pages et la résumait en 2 lignes claires.
   • Mesure : Si le résumé est beaucoup plus court que l'original, c'est que l'original était trop gros.

2. Le Résumé "Extractif" (Le Filtre à café) :
   ConCISE demande au robot : "Prends juste les phrases les plus importantes du texte original et jette le reste."

   • Analogie : C'est comme filtrer du café : on garde le liquide (l'info) et on jette les grains (les détails inutiles).
   • Mesure : Si on peut jeter beaucoup de "grains" sans perdre le goût, c'est que le café (la réponse) était trop dilué.

3. La "Taille de Poche" (Le Tondeur de gazon) :
   ConCISE demande au robot : "Coupe tous les mots inutiles dans cette phrase, mais garde le sens exact."

   • Analogie : C'est comme tondre un gazon très haut pour le rendre parfaitement plat. Plus on enlève d'herbe, plus le gazon est "concis".
   • Mesure : Le nombre de mots coupés devient le score de concision.

Ensuite, ConCISE fait la moyenne de ces trois essais. Si le score est bon, cela signifie que la réponse était efficace. Si le score est mauvais, c'est que le robot a trop bavardé.

🧪 Les Résultats : Ça marche mieux que les autres !

Les chercheurs ont testé ConCISE sur des milliers de questions et de réponses. Ils ont demandé à des humains de noter la concision, puis ils ont comparé les notes humaines avec celles de ConCISE.

• Le résultat : ConCISE a deviné ce que les humains pensaient dans 94 % des cas ! C'est comme si vous aviez un ami qui comprend parfaitement votre goût pour les réponses courtes.
• La comparaison : Les anciennes méthodes (qui demandent simplement au robot de noter de 0 à 10) ont échoué. Elles étaient souvent confuses, un peu comme un élève qui note un devoir sans vraiment savoir ce qu'il regarde.

💡 Pourquoi c'est important ?

1. Économie d'argent : Les entreprises paient les robots au nombre de mots générés. Moins de mots = moins cher. ConCISE aide à éviter de gaspiller de l'argent.
2. Clarté : Personne n'aime lire un roman pour savoir l'heure qu'il est. ConCISE aide à créer des assistants plus directs et plus utiles.
3. Pas besoin de "Réponses Parfaites" : Avant, pour tester un robot, il fallait qu'un humain écrive la "bonne" réponse pour comparer. ConCISE n'a besoin de rien d'autre que du texte du robot lui-même. C'est comme juger un film sans avoir besoin de voir le film original.

⚠️ Une petite limite

L'article note une chose importante : la concision dépend du contexte.
Parfois, être long est nécessaire (comme dans un contrat juridique ou une explication médicale). ConCISE pourrait dire "C'est trop long !" alors que c'est en fait très important. C'est un peu comme un tondeuse de gazon : elle coupe tout, même si vous vouliez garder une petite zone sauvage pour les papillons. Il faudra encore affiner l'outil pour qu'il comprenne quand il faut être bavard et quand il faut être bref.

En résumé

ConCISE, c'est comme un régleur de volume intelligent pour les robots. Il écoute ce qu'ils disent, coupe le "bruit de fond" et les répétitions, et nous dit si la réponse est claire et efficace, le tout sans avoir besoin d'un humain pour vérifier chaque mot. C'est une étape de plus vers des conversations avec les machines qui sont enfin aussi naturelles et directes que celles entre humains.

Résumé technique

1. Problématique

Les modèles de langage (LLM) ont tendance à générer des réponses excessivement longues et verbeuses, remplies de détails redondants ou inutiles. Cette tendance pose plusieurs problèmes :

• Expérience utilisateur : Elle réduit la clarté et la satisfaction de l'utilisateur.
• Coûts économiques : Pour les modèles propriétaires facturés au nombre de tokens de sortie, la verbosité augmente directement les coûts opérationnels.
• Limites des métriques actuelles : Les métriques d'évaluation traditionnelles (comme BLEU ou ROUGE) reposent sur des références « or » (gold standard) annotées par des humains et se concentrent sur le chevauchement lexical ou la couverture sémantique, sans mesurer explicitement la concision. De plus, la préparation de références annotées est coûteuse et chronophage.

Il existe donc un besoin crucial d'une métrique sans référence (reference-free) capable de quantifier la concision et de détecter le contenu non essentiel dans les réponses générées par les LLM.

2. Méthodologie : ConCISE

Les auteurs proposent ConCISE, une nouvelle métrique d'évaluation de la concision qui ne nécessite aucune réponse de référence humaine. L'approche repose sur l'utilisation des capacités de synthèse et de suppression d'un LLM pour simuler un jugement humain de brièveté.

Le score ConCISE est calculé comme la moyenne de trois composantes de compression :

1. Compression par résumé abstrait : Le LLM génère un résumé abstrait (reformulation) de la réponse originale. Le ratio de compression est calculé entre la longueur de la réponse originale et celle du résumé.
2. Compression par résumé extractif : Le LLM sélectionne les phrases les plus pertinentes directement dans le texte original. Le ratio de compression est calculé entre la réponse originale et ce résumé extractif.
3. Compression par suppression de mots (Word-removal) : Le LLM tente de supprimer autant de mots non essentiels que possible de la réponse tout en préservant son sens et ses entités nommées. Le nombre de tokens supprimés indique le niveau de concision.

Validation sémantique :
Avant de calculer le score final, le LLM doit vérifier que les versions compressées (résumés et texte élagué) conservent le même sens et toutes les entités nommées importantes que la réponse originale. Si le sens est altéré, la compression est considérée comme nulle pour cette composante.

Formule du score :
Le score final est la moyenne des trois ratios de compression (où $|A|$ est la longueur de la réponse, $|AS|$ la différence avec le résumé abstrait, $|ES|$ avec le résumé extractif, et $|RW|$ avec le texte élagué) :

$$ConCISE = \frac{1}{3} \left[ \left(1 - \frac{|AS|}{|A|}\right) + \left(1 - \frac{|ES|}{|A|}\right) + \left(1 - \frac{|RW|}{|A|}\right) \right]$$

Note : Si une version compressée est plus longue que l'originale, la valeur est considérée comme zéro.

3. Contributions Clés

1. Nouvelle métrique sans référence : ConCISE est l'un des premiers mécanismes capables d'évaluer la longueur et la redondance d'une sortie LLM sans nécessiter de réponses de référence humaines (gold standard).
2. Validation empirique : Les auteurs ont démontré l'efficacité de la métrique et son alignement avec le jugement humain via des tests sur le jeu de données WikiEval (questions basées sur Wikipédia).
3. Approche pratique et automatisée : La méthode offre un outil pour l'évaluation automatisée de la brièveté dans les systèmes d'IA conversationnelle, réduisant la dépendance aux annotations manuelles.

4. Résultats Expérimentaux

L'évaluation a été menée sur le jeu de données WikiEval, en comparant les scores ConCISE avec des jugements humains (échelle de Likert et comparaisons par paires) et des métriques de base (GPT Score, GPT Ranking).

• Corrélation avec le jugement humain :

  • La version de ConCISE utilisant GPT-4o a obtenu une corrélation de Spearman ($r_s$) de 0,628 et une corrélation de Kendall ($\tau$) de 0,523 avec les annotations humaines. Ces résultats sont statistiquement significatifs ($p < 0,001$).
  • D'autres modèles juges (Claude-4, Gemini-2.0, Mistral-Large-2) ont également montré des corrélations positives, bien que légèrement inférieures.
  • À l'inverse, la métrique de base « GPT Score » (notation directe sur une échelle de 0 à 10) a montré une corrélation négative et non significative, suggérant que le scoring direct est moins fiable pour évaluer la concision.

• Alignement sur les comparaisons par paires :

  • ConCISE a atteint un taux de précision de 94 % pour identifier la réponse la plus concise entre deux options, en accord avec les annotateurs humains.
  • La méthode de base « GPT Ranking » n'a obtenu que 39 % de précision.

5. Signification et Limites

Signification :
ConCISE comble une lacune importante dans l'évaluation des LLM en fournissant un moyen robuste, économique et automatisé de mesurer la verbosité. Sa capacité à s'aligner fortement avec le jugement humain (94 % d'accord sur les comparaisons par paires) en fait un outil prometteur pour le déploiement de systèmes d'IA conversationnelle où la concision est critique.

Limites et travaux futurs :

• Dépendance au contexte : La définition de ce qui est « non essentiel » varie selon les domaines (ex: les détails réglementaires en finance sont verbeux mais essentiels). La métrique actuelle pourrait pénaliser à tort des réponses précises dans des contextes spécialisés.
• Biais potentiel : L'utilisation d'un même prompt pour générer les trois types de compression pourrait introduire des biais croisés. Les auteurs suggèrent d'explorer des prompts séparés pour isoler ces biais.
• Généralisation : Des validations supplémentaires sur des jeux de données plus diversifiés et dans différents domaines sont nécessaires pour confirmer la robustesse de la métrique.

En conclusion, ConCISE représente une avancée significative vers l'évaluation objective de la qualité de la communication des LLM, en se concentrant sur l'efficacité de l'information plutôt que sur la simple longueur ou le chevauchement lexical.