💬 NLP

LLMs as Assessors: Right for the Right Reason?

Hoewel LLM's veelbelovend zijn voor het beoordelen van relevantie in informatieverzamelingen, concludeert dit onderzoek dat ze menselijke beoordelaars nog niet volledig kunnen vervangen omdat ze niet altijd de juiste passages in documenten identificeren om hun oordeel te rechtvaardigen.

Oorspronkelijke auteurs: Sourav Saha, Mandar Mitra, Aditya Dutta

Gepubliceerd 2026-04-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sourav Saha, Mandar Mitra, Aditya Dutta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken, en je moet razendsnel antwoorden vinden op vragen als: "Hoe werd de Nobelprijs eigenlijk bedacht?" Normaal gesproken stuur je een menselijke bibliothecaris op pad om de juiste pagina's te markeren met een neongele highlighter.

Maar bibliothecarissen zijn duur en traag. Daarom proberen we nu een "Robot-Bibliothecaris" (een Large Language Model zoals ChatGPT) dit werk te laten doen.

Dit wetenschappelijke onderzoek van de Indian Statistical Institute stelt een cruciale vraag: Is de robot wel de juiste redenen aan het gebruiken om de juiste pagina's te vinden, of gokt hij gewoon maar wat?

Hier is de uitleg van hun onderzoek in begrijpelijke taal:

1. De Test: De "Highlighter-test"

De onderzoekers gaven de robots niet alleen de opdracht om te zeggen: "Ja, dit boek is nuttig" of "Nee, dit boek is onzin". Dat is te makkelijk. Ze gaven de robots een highlighter en zeiden: "Als je zegt dat dit boek nuttig is, laat dan met je marker precies zien welk stukje tekst het antwoord geeft."

Dit is de ultieme test. Als een robot zegt dat een boek over de Nobelprijs relevant is, maar hij markeert per ongeluk een stukje over de geschiedenis van de auto, dan is hij wel "goed" (hij vond een relevant boek), maar hij is het niet om de juiste redenen. Hij is een "geluksvogel", geen expert.

2. De Resultaten: De "Overenthousiaste Leerling" vs. de "Sceptische Professor"

De onderzoekers testten verschillende soorten robots en ontdekten een grappig verschil in persoonlijkheid:

De Overenthousiaste Leerling (Llama-3.1): Deze robot is een beetje te enthousiast. Als je hem een boek geeft, wil hij bijna de hele pagina geel kleuren. Hij vindt bijna alles wel "relevant". Hierdoor vindt hij wel veel antwoorden (hoge recall), maar hij kleurt ook heel veel onzin mee (lage precision). Het is alsof je een hele krant markeert omdat er één keer het woord "zon" in staat.
De Sceptische Professor (GPT-4o-mini): Deze robot is veel strenger. Hij is heel voorzichtig en zegt sneller: "Nee, dit boek is niet relevant genoeg." Hij is veel nauwkeuriger, maar hij mist soms ook de pareltjes omdat hij te kritisch is.

3. Het "Naald in de Hooiberg" Probleem

De onderzoekers ontdekten dat robots moeite hebben met de "naald in de hooiberg". Als een boek heel dik is en er staat maar één klein zinnetje in dat echt het antwoord geeft, dan raken de robots de weg kwijt. Ze zien de hooiberg (de rest van de tekst) en vergeten de naald (het antwoord) te vinden.

4. Hoe maken we de robot slimmer? (De "Voorbeeld-methode")

De onderzoekers ontdekten dat je een robot kunt helpen door hem eerst een paar "voorbeeld-opdrachten" te geven. Het is alsof je een stagiair eerst laat zien: "Kijk, als de vraag over bloemen gaat, markeer je alleen de zin over de kleur, niet de hele pagina over de tuinman."

Ze ontdekten dat als je de robot voorbeelden geeft van heel korte, specifieke tekststukjes, de robot ineens veel beter wordt in het vinden van die kleine "naaldjes".

De Conclusie: De Robot is een Assistent, geen Vervanger

De belangrijkste boodschap van het onderzoek is een waarschuwing: Vertrouw de robot nog niet blindelings.

Hoewel robots fantastisch zijn in het razendsnel doorzoeken van enorme hoeveelheden data, maken ze nog steeds fouten in hun logica. Ze kunnen de verkeerde dingen markeren of te veel tekst kleuren. De onderzoekers zeggen: "Gebruik de robot om het zware werk te doen en de mens te helpen, maar laat de mens altijd de laatste controle doen."

Kortom: De robot is een geweldige assistent met een superkracht, maar hij heeft nog steeds een menselijke meester nodig om te controleren of hij niet de hele bibliotheek geel aan het kleuren is!

Technische Samenvatting: LLMs als Beoordelaars

1. Probleemstelling

De opkomst van Large Language Models (LLMs) heeft geleid tot de vraag of deze modellen menselijke beoordelaars kunnen vervangen bij het evalueren van de kwaliteit van tekst- of beeldverwerkingssystemen. In de context van Information Retrieval (IR) worden LLMs vaak gebruikt als 'judges' om de relevantie van documenten voor een specifieke zoekopdracht (query) te bepalen.

Het fundamentele probleem dat dit onderzoek aanstipt, is de vraag of LLMs "het juiste antwoord geven om de juiste redenen". Veel bestaand onderzoek kijkt alleen naar document-niveau (is dit document relevant of niet?), maar houdt geen rekening met de onderbouwing. Als een LLM een document als relevant markeert, maar de verkeerde passages aanwijst, is de beoordeling dan nog steeds betrouwbaar voor het creëren van 'gold standard' datasets?

2. Methodologie

De onderzoekers maken gebruik van de INEX 2009 en 2010 Wikipedia-collecties, die menselijke annotaties bevatten op het niveau van tekstfragmenten (passages). Dit stelt hen in staat om de precisie van de LLM-beoordeling te vergelijken met de menselijke 'ground truth'.

De experimentele opzet omvat:

Taak: In plaats van alleen een label (relevant/niet-relevant), worden de LLMs gevraagd om de specifieke passages in een document te extraheren die de informatiebehoefte van de query vervullen (rationale-generatie).
Modellen: Er wordt vergeleken tussen een kleiner open-source model (Llama-3.1-8B-Instruct) en geavanceerdere 'mini'-modellen van OpenAI (GPT-4.1-mini en GPT-4o-mini).
Prompting: Er wordt gebruikgemaakt van few-shot in-context learning (met $k=6$ voorbeelden).
Evaluatiemethoden:
- Document-niveau: Voorspelling van binaire relevantie.
- Passage-niveau: Berekening van Precision (P), Recall (R) en F1-score door de gegenereerde tekst te mappen op de originele tekst via de Longest Common Subsequence (LCS) methode.
- Exemplar Selection: Onderzoek naar hoe de keuze van de voorbeelden in de prompt de prestaties beïnvloedt.

3. Belangrijkste Bijdragen

Granulaire Evaluatie: Het onderzoek gaat verder dan document-niveau en introduceert een methode om de kwaliteit van de uitleg (de rationale) van een LLM te kwantificeren.
Analyse van 'Needle in a Haystack': Het identificeert de moeite die LLMs hebben met het vinden van zeer kleine, relevante fragmenten in grote, semantisch gerelateerde documenten.
Exemplar Selection Strategieën: Het toont aan dat het selecteren van voorbeelden met een lage verhouding tussen relevante tekst en totale tekstlengte (rel-chunk-prop) de precisie van de LLM aanzienlijk verbetert.

4. Resultaten

Document-niveau vs. Passage-niveau: Er is een discrepantie tussen de modellen. Grotere modellen (zoals GPT-4o-mini) zijn extreem conservatief in hun relevantie-voorspellingen op document-niveau, terwijl kleinere modellen (Llama-3.1) de neiging hebben tot veel false positives.
Recall vs. Precision: LLMs vertonen een sterke neiging tot over-highlighting. De Recall-scores zijn doorgaans veel hoger dan de Precision-scores, omdat de modellen vaak te grote tekstblokken markeren als relevant.
Complexiteit van tekst: De prestaties van LLMs dalen aanzienlijk wanneer de relevante informatie bestaat uit meerdere, niet-aaneengesloten (discontiguous) fragmenten.
Redenering en Harde Cases: Voor de moeilijkste gevallen (waar de precisie van standaardmodellen bijna nul is), laten de krachtigere reasoning-modellen (GPT-4o-mini) een significante verbetering zien in precisie, hoewel deze nog steeds laag blijft.

5. Betekenis en Conclusie

De belangrijkste conclusie van het onderzoek is een waarschuwing: hoewel LLMs veelbelovend zijn en de menselijke werklast bij het genereren van benchmarks kunnen verminderen, kunnen ze de menselijke assessor niet volledig vervangen.

De onnauwkeurigheid bij het identificeren van specifieke passages en de neiging tot over-generatie betekenen dat LLM-gegenereerde datasets risico's in zich dragen voor de betrouwbaarheid van IR-evaluaties. Het onderzoek benadrukt dat LLMs weliswaar nuttig kunnen zijn als ondersteuning, maar dat menselijk toezicht essentieel blijft om te garanderen dat systemen worden beoordeeld op de juiste gronden.