Evalet: Evaluating Large Language Models through Functional Fragmentation

1. Het Probleem

De huidige praktijk voor het evalueren van Large Language Models (LLMs) vertrouwt vaak op de "LLM-as-a-Judge" benadering, waarbij een LLM de output van een andere LLM beoordeelt. De huidige methoden genereren echter holistische scores (bijv. een cijfer van 1 tot 5) en algemene rechtvaardigingen. Dit introduceert twee belangrijke beperkingen:

• Gebrek aan transparantie: Holistische scores verbergen welke specifieke elementen in de tekst hebben geleid tot de beoordeling. Practici moeten handmatig de hele output scannen om te begrijpen waarom een score werd gegeven.
• Schaalbaarheid en consistentie: Bij het evalueren van grote datasets is het onpraktisch om elke output handmatig te controleren. Als meerdere outputs dezelfde score krijgen, is het moeilijk om te bepalen of ze dezelfde problemen hebben of verschillende, wat het identificeren van systemische foutpatronen bemoeilijkt.
• Vertrouwenscalibratie: Practici kunnen hun vertrouwen in de evaluaties van de LLM moeilijk kalibreren omdat ze de onderliggende redenering niet kunnen verifiëren zonder de volledige tekst opnieuw te lezen.

2. Methodologie: Functionele Fragmentatie

Het paper introduceert Functional Fragmentation, een nieuwe evaluatiemethode die outputs niet als geheel, maar als verzameling van sleutelfragmenten behandelt.

Kernconcepten:

• Fragmentatie: De LLM breekt een output op in kleine, relevante tekstfragmenten.
• Functionele Interpretatie: Voor elk fragment bepaalt de LLM de rhetorische functie (het doel of effect) ten opzichte van een specifiek evaluatiecriterium. Een fragment kan meerdere functies hebben (bijv. een zin kan "engagement" verhogen maar ook "onveilige oorlogsbeelden" bevatten).
• Rating: Elke functie wordt individueel beoordeeld als positief of negatief in relatie tot het criterium.

Het Evalet Systeem:
Evalet is het interactieve systeem dat deze methode implementeert. Het bestaat uit de volgende pijplijn:

1. Extractie en Evaluatie: Een LLM (gebruikmakend van prompts met voorbeelden) extrahert fragmenten, labelt hun functies, en rateert ze.
2. Embedding en Clustering: De functiedescripties worden omgezet in vector-embeddings. Deze worden geprojecteerd in een 2D-ruimte (via UMAP) en geclusterd (via HDBSCAN en KMeans) om functioneel vergelijkbare fragmenten te groeperen, ongeacht hun letterlijke woordkeuze.
3. Interactieve Visualisatie:
   • Informatiepaneel: Toont details per output, inclusief lijst van functies en hun ratings.
   • Kaartvisualisatie: Toont een 2D-kaart van alle functies over alle outputs heen. Positieve functies zijn stippen, negatieve zijn kruisen. Clusters worden visueel weergegeven.
   • Correctie: Gebruikers kunnen functies toevoegen aan sets van positieve/negatieve/exclusieve voorbeelden om de evaluatie van de LLM iteratief te verbeteren (few-shot learning).

3. Belangrijkste Bijdragen

1. Functionele Fragmentatie: Een nieuw raamwerk dat LLM-evaluatie verschuift van holistische scores naar kwalitatieve, fijnmazige analyse van modelgedrag op fragment-niveau.
2. Evalet: Een interactief systeem dat practitioners toelaat om evaluaties te inspecteren, te raten en te vergelijken op basis van functionele clusters in plaats van alleen tekstuele inhoud.
3. Empirische Validatie: Een binnen-subjecten studie (N=10) die aantoont dat deze aanpak de betrouwbaarheid en bruikbaarheid van LLM-evaluaties verbetert.

4. Resultaten van de Gebruikersstudie

De studie vergeleek Evalet (Fragmented) met een baseline die alleen holistische scores en rechtvaardigingen bood (Holistic).

• Validatie van Evaluaties: Practici vonden het in de Fragmented conditie aanzienlijk makkelijker om evaluaties te verifiëren. Ze identificeerden 48% meer misaligningen tussen de LLM-beoordeling en hun eigen oordeel.
• Vertrouwen en Actie: Door de mogelijkheid om individuele functies te verifiëren, ontwikkelden gebruikers een meer "geïnformeerd vertrouwen". Ze vertrouwden de scores niet blindelucht, maar gebruikten ze wel om gerichte problemen te vinden.
• Actiegericht: De problemen die werden geïdentificeerd in de Fragmented conditie werden als significant actiebaarder beoordeeld (hoger zelfvertrouven om ze op te lossen) dan in de Holistic conditie.
• Werklast: De subjectieve werklast (NASA-TLX) was vergelijkbaar tussen beide condities, hoewel de cognitieve inspanning anders verdeeld was (minder handmatig lezen in Fragmented, meer exploratie van patronen).
• Correctie: Practici konden criteria effectief verfijnen door voorbeelden toe te voegen, wat leidde tot consistentere evaluaties in herhaalde runs.

5. Significantie en Toekomstperspectief

• Verschuiving in Evaluatie: Het werk markeert een verschuiving van kwantitatieve, "black-box" scores naar kwalitatieve, interpreteerbare analyse. Dit is cruciaal voor het begrijpen van hoe een model gedraagt, niet alleen hoe goed het scoort.
• Schaalbaarheid: De methode maakt het mogelijk om grote datasets te analyseren door patronen te herkennen in functionele clusters (bijv. "overmatig gebruik van oorlogsbeelden" in kindvriendelijke content), wat handmatig onmogelijk zou zijn.
• Toepassingsgebied: De aanpak is breed toepasbaar, zoals aangetoond in casestudies over:
  • Metacognitie in redenerende LLM's.
  • Harmlessness (veiligheid) in conversaties.
  • Sociale intelligentie in agent-simulaties.
• Integratie: De auteurs pleiten voor een hybride workflow waarbij practitioners beginnen met fragmentatie om criteria te concretiseren, en vervolgens "zoomen" naar holistische scores om de algehele kwaliteit te beoordelen, gebaseerd op de gecorrigeerde fragment-data.

Conclusie:
Evalet lost het probleem van de "opaqueness" van LLM-evaluaties op door outputs te ontleden in hun constitutieve functies. Dit stelt ontwikkelaars en onderzoekers in staat om systematische fouten te detecteren, hun vertrouwen in automatische evaluaties te kalibreren en gerichter te werken aan het verbeteren van LLM-gedrag.