ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers

Deze paper introduceert ConCISE, een referentievrije metric die de beknoptheid van antwoorden van grote taalmodellen meet door drie compressieberekeningen te combineren om redundantie te identificeren zonder grondwaarheid-annotaties.

De kern

Stel je voor dat je een vriend vraagt: "Hoe kom ik naar het station?" en die vriend begint een uur lang te vertellen over de geschiedenis van de trein, de weersvoorspelling voor de komende week en zijn droom over een reis naar Mars. Terwijl je alleen maar wilt weten of je links of rechts moet slaan. Dat is precies wat veel kunstmatige intelligentie (LLM's) vaak doet: ze zijn zo enthousiast dat ze te veel praten, vol met overbodige details.

Dit papier introduceert een nieuwe manier om dit gedrag te meten, genaamd ConCISE. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

Het Probleem: De "Opschepper"

Stel je voor dat je een kok bent die een gerecht serveert. Als je gast vraagt om een klein hapje, en jij serveert een hele maaltijd met drie voorgerechten, een hoofdgerecht en een dessert, dan is dat niet alleen duur (want tokens kosten geld), maar ook verwarrend. De gast wil gewoon het hapje.

LLM's zijn vaak die kok die niet weet wanneer hij moet stoppen met koken. Ze vullen hun antwoorden met "opvulsel" (redundantie), wat de boodschap verduistert en de kosten verhoogt.

De Oplossing: De "Slimme Schaar" (ConCISE)

De auteurs van dit papier hebben een nieuwe meetlat bedacht, ConCISE. Het bijzondere? Je hebt geen "juist antwoord" (een voorbeeld van een perfecte menselijke reactie) nodig om te weten of een antwoord kort en krachtig is. Het werkt volledig zelfstandig.

Stel je voor dat ConCISE een slimme schaar is die drie verschillende manieren gebruikt om te kijken hoeveel "vet" er in een antwoord zit:

1. De Samenvattingsschaar (Abstractive): De AI leest het lange antwoord en schrijft het in één zin op met andere woorden. Als de originele tekst 100 woorden is en de samenvatting 20, dan is er veel "vet" weggehaald.
2. De Knipschaar (Extractive): De AI plukt alleen de belangrijkste zinnen uit het origineel en gooit de rest weg.
3. De Pruningschaar (Word-Removal): Dit is de meest grappige. De AI probeert het antwoord te herschrijven door alle woorden die niet echt nodig zijn, letterlijk weg te halen, terwijl de betekenis hetzelfde blijft. Het is alsof je een boom snoeit tot alleen de vracht overblijft.

Hoe werkt de score?
ConCISE kijkt naar hoeveel woorden er zijn weggehaald in deze drie scenario's. Hoe meer woorden je kunt weghalen zonder de betekenis te verliezen, hoe "vetrijker" (minder beknopt) het originele antwoord was. De score is het gemiddelde van deze drie metingen.

De Proef: De "Kookwedstrijd"

Om te testen of hun nieuwe schaar echt werkt, hebben de onderzoekers een proef gedaan:

• Ze namen normale antwoorden van een AI.
• Ze lieten een andere AI deze antwoorden opzettelijk lang en saai maken (door er veel herhalingen en onzin aan toe te voegen, alsof je een klein stukje vlees opblaast tot een hele koe).
• Vervolgens vroegen ze echte mensen: "Welk antwoord is beknopter?" (op een schaal van 1 tot 5).
• Daarna lieten ze hun nieuwe ConCISE-tool de antwoorden beoordelen.

Het Resultaat:
De "slimme schaar" (ConCISE) bleek bijna perfect te matchen met wat de mensen dachten. Waar mensen zeiden: "Dit antwoord is te langdradig!", zei de tool ook: "Ja, hier zit veel overbodig vet in."
Vergelijk dit met andere methoden die gewoon vragen aan een AI: "Geef een cijfer van 1 tot 10 voor beknoptheid." Die andere methoden faalden vaak; ze gaven soms hoge scores aan lange, saaie antwoorden. ConCISE was veel slimmer.

Waarom is dit belangrijk?

1. Besparing: Als je een AI gebruikt die per woord betaalt (zoals bij sommige dure modellen), helpt dit je geld te besparen door te voorkomen dat de AI "opblaast".
2. Geen menselijke hulp nodig: Je hoeft geen dure experts te betalen om te controleren of een antwoord goed is. De tool doet het zelf.
3. Duidelijkheid: Het zorgt ervoor dat AI's antwoorden die mensen echt willen lezen: kort, krachtig en direct.

De "Maatstaf" (Conclusie)

Kortom: ConCISE is als een strenge redacteur die zegt: "Stop met opscheppen, kom tot de kern." Het is een slimme, gratis manier om te checken of een AI-antwoord netjes en beknopt is, zonder dat je een voorbeeld van een perfect antwoord nodig hebt. Het helpt ervoor te zorgen dat AI's niet meer praten dan nodig is, net zoals een goede vriend die je precies vertelt wat je wilt weten, zonder de hele dag te kletsen.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) genereren vaak antwoorden die onnodig langdradig en verbaal zijn, vol met redundante of overbodige details. Dit heeft twee negatieve gevolgen:

1. Gebruikerstevredenheid: Het vermindert de duidelijkheid en kan gebruikers overweldigen.
2. Kosten: Voor ontwikkelaars, vooral bij proprietaire modellen die per token worden gefactureerd, leiden lange antwoorden tot hogere operationele kosten.

Bestaande evaluatiemethoden (zoals BLEU of ROUGE) zijn afhankelijk van "gold standard" referentieteksten en focussen op lexische overlapping, waardoor ze verbaalheid niet effectief kunnen meten. Andere methoden missen vaak een directe, referentievrije manier om de beknoptheid van een antwoord te kwantificeren zonder menselijke annotaties.

Methodologie: ConCISE

De auteurs introduceren ConCISE, een nieuwe, referentievrije metric om de beknoptheid van LLM-antwoorden te evalueren. De kern van de methode is het kwantificeren van niet-essentiële inhoud door gebruik te maken van de LLM's eigen capaciteiten om menselijke oordelen te simuleren.

De metric berekent de beknoptheidsscore als het gemiddelde van drie berekeningen:

1. Abstractive Samenvatting: Een LLM genereert een abstractive samenvatting (parafraase) van het originele antwoord. De compressie-ratio wordt bepaald door het verschil in lengte tussen het origineel en deze samenvatting.
2. Extractive Samenvatting: Een LLM selecteert de meest relevante zinnen direct uit de originele tekst. Ook hier wordt de compressie-ratio berekend.
3. Woordverwijdering (Word-Removal): Een LLM verwijdert zoveel mogelijk niet-essentiële woorden uit het antwoord terwijl de betekenis en de belangrijkste entiteiten (zoals data, locaties) behouden blijven. Het aantal verwijderde tokens is een directe indicator voor de beknoptheid.

Validatie van Betekenis:
Voordat de scores worden berekend, controleert een LLM of de gegenereerde samenvattingen en de "geprunte" tekst (na verwijdering) semantisch equivalent zijn aan het origineel en of alle naamlijke entiteiten behouden zijn. Alleen als dit het geval is, wordt de lengtevermindering meegenomen in de berekening.

Formule:
De uiteindelijke ConCISE-score wordt als volgt berekend:
$$ConCISE = \frac{1}{3} \left[ \left(1 - \frac{|A| - |AS|}{|A|}\right) + \left(1 - \frac{|A| - |ES|}{|A|}\right) + \left(1 - \frac{|A| - |RW|}{|A|}\right) \right]$$
Waarbij:

• $|A|$ = Lengte van het originele antwoord.
• $|AS|$ = Lengteverschil met de abstractive samenvatting.
• $|ES|$ = Lengteverschil met de extractive samenvatting.
• $|RW|$ = Lengteverschil met de tekst na verwijdering van overbodige woorden.
  (Opmerking: Als een samenvatting langer is dan het origineel, wordt de waarde als 0 beschouwd.)

Experimenteel Ontwerp

• Dataset: De WikiEval-dataset, bestaande uit vraag-antwoordparen afkomstig van Wikipedia-artikelen.
• Data Generatie: Om een breed scala aan antwoorden te testen, gebruikte de auteurs GPT-4o om bestaande antwoorden te herschrijven naar een "verbaal" (langdradig) formaat, terwijl de feitelijke inhoud behouden bleef.
• Menselijke Evaluatie: Drie menselijke annotatoren beoordeelden de antwoorden op een 5-punts Likert-schaal (van zeer beknopt tot zeer verbaal) en voerden paarsgewijze vergelijkingen uit om te bepalen welk antwoord beknopter was.
• Benchmarks: ConCISE werd vergeleken met twee baselines:
  1. GPT Score: Een LLM dat een directe score (0-10) geeft op basis van een prompt.
  2. GPT Ranking: Een LLM dat kiest tussen twee antwoorden welke beknopter is.

Resultaten

De prestaties van ConCISE werden gemeten aan de hand van correlatie met menselijke beoordelingen (Spearman's $\rho$ en Kendall's $\tau$) en nauwkeurigheid bij paarsgewijze vergelijkingen.

• Correlatie met Menselijke Beoordeling:
  • De beste uitvoering van ConCISE (met GPT-4o als judge) behaalde een Spearman-correlatie van 0,628 en een Kendall's $\tau$ van 0,523. Beide waarden zijn statistisch significant ($p < 0,001$).
  • De baselines (GPT Score en GPT Ranking) presteerden slecht, met correlaties dicht bij nul of zelfs negatief, wat aangeeft dat directe prompt-gebaseerde scoring niet goed overeenkomt met menselijke oordelen over beknoptheid.
• Nauwkeurigheid bij Paarsgewijze Vergelijking:
  • ConCISE stemde in 94% van de gevallen overeen met menselijke annotatoren bij het kiezen van het beknoptste antwoord.
  • De GPT Ranking-baseline bereikte slechts 39% nauwkeurigheid.

Belangrijkste Bijdragen

1. Nieuwe Referentievrije Metric: ConCISE is een van de eerste mechanismen dat de beknoptheid van LLM-outputs kan beoordelen zonder enige vorm van gold-standard referentieantwoorden.
2. Validatie: De auteurs hebben experimenteel aangetoond dat de metric effectief redundantie detecteert en sterk correleert met menselijke oordelen.
3. Praktische Toepasbaarheid: De methode vereist slechts één LLM-call (voor het genereren van de drie varianten en de validatie), wat het kosteneffectief maakt voor geautomatiseerde evaluatie in conversational AI-systemen.

Significantie en Toekomstperspectief

ConCISE biedt een praktische oplossing voor een veelvoorkomend probleem in de LLM-wereld: het meten en optimaliseren van beknoptheid zonder de hoge kosten van menselijke annotatie. Het stelt ontwikkelaars in staat om de efficiëntie van hun modellen te monitoren en te optimaliseren, wat direct leidt tot lagere token-kosten en betere gebruikerservaringen.

Beperkingen en Toekomstig Werk:
De auteurs erkennen dat "beknoptheid" context-afhankelijk is; wat in de ene domein (bijv. financiën met wettelijke disclosures) als overbodig geldt, kan in een ander domein essentieel zijn voor nauwkeurigheid. Toekomstig onderzoek zou zich moeten richten op domein-geadaptieve modellen en het isoleren van bias tussen de verschillende compressietechnieken binnen de metric.