Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries

Dit artikel introduceert de Inductive Conceptual Rating (ICR)-metriek, een kwalitatieve semiotisch-hermeneutische benadering die aantoont dat hoewel LLM's hoge taalkundige overeenkomsten vertonen, ze vaak tekortschieten in het vangen van contextueel betekenisvolle menselijke interpretaties in samenvattingen.

De kern

Samenvatting: Waarom AI soms "slim" lijkt, maar de diepte mist

Stel je voor dat je een kunstenaar vraagt om een portret van je overleden grootmoeder te maken. De AI tekent een prachtig gezicht, met de juiste neus, ogen en een glimlach. Het lijkt perfect. Maar de kunstenaar (de AI) weet niet wie ze is, wat haar lach betekent, of waarom ze soms verdrietig keek. De AI heeft alleen de vorm (de woorden) nagebootst, maar niet de ziel (de betekenis).

Dit is precies het probleem dat Natalie Perez en haar team in hun paper "Simulating Meaning, Nevermore!" (Een knipoog naar Edgar Allan Poe's raaf) aanpakken. Ze zeggen: "AI simuleert betekenis, maar creëert hem niet echt."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Woord-robot" vs. De "Menselijke verteller"

Computers kijken naar taal als een enorme lijst met bouwstenen. Als ze het woord "Nevermore" (Nooit meer) zien, denken ze: "Ah, dit woord komt vaak voor in sombere gedichten." Ze weten niet dat het woord in het ene vers betekent "ik zie mijn geliefde nooit meer" en in het andere vers "ik vind nooit meer rust."

• De Analogie: Stel je voor dat je een woordenboek hebt dat alleen de letterlijke definitie van woorden kent. Als je vraagt wat "warm" is, zegt het: "Temperatuur boven 20 graden." Maar als je zegt "een warm hart", denkt de computer dat je het over de lichaamstemperatuur hebt. Hij mist de gevoelswaarde.
• Huidige AI-metingen: De manier waarop we nu testen of AI goed werkt, is alsof we een schilderij beoordelen op het aantal rode verfdruppels. Als de AI evenveel rode druppels heeft als het origineel, krijgen ze een 10. Maar ze kijken niet of het een mooie zonsondergang is of een bloedbad.

2. De Oplossing: De "ICR" (Inductief Conceptueel Beoordelingssysteem)

De auteurs introduceren een nieuwe methode genaamd ICR. In plaats van te tellen hoeveel woorden overeenkomen, kijken ze naar de verhaallijn en de betekenis.

• De Analogie: Stel je voor dat je een recept hebt (het originele verhaal).
  • Huidige AI: Kookt een soep die eruitziet als het origineel, maar de smaak is raar. Ze hebben alle ingrediënten (woorden) gebruikt, maar de verhouding klopt niet.
  • De ICR-methode: Laat een echte kok (een menselijke expert) de soep proeven. Die kok vraagt: "Proef je de liefde van de grootmoeder? Voel je de warmte? Of proef je alleen zout?"
  • De ICR is die kok. Hij kijkt niet naar de ingrediëntenlijst, maar naar de smaak van het verhaal.

3. Hoe werkt het in de praktijk? (De 3 Stappen)

De auteurs hebben een proces bedacht om dit te meten:

1. De Menselijke Basislijn (De "Gouden Standaard"): Mensen lezen een tekst en zoeken er de diepere thema's in. Ze vragen zich af: "Wat probeert de schrijver echt te zeggen?" (Net als een detective die de motieven achterhaalt).
2. De AI-Check: De AI maakt een samenvatting.
3. De Vergelijking: De menselijke experts kijken naar de AI-samenvatting en vragen: "Heeft de AI de essentie begrepen, of heeft hij alleen de woorden nagepraat?"
   • Als de AI een belangrijk gevoel mist, is dat een "fout".
   • Als de AI iets verzint dat er niet staat (hallucinatie), is dat ook een fout.

4. Wat vonden ze? (De verrassende resultaten)

Ze testten dit met verschillende AI-modellen en datasets (van klein tot heel groot).

• Het Resultaat: De AI's scoorden fantastisch op de "oppervlakte-metingen" (woordenlijst, zinsbouw). Ze kregen hoge cijfers voor "lijken op het origineel".
• De Realiteit: Zodra ze keken naar de diepere betekenis (de ICR-score), vielen de AI's flink door de mand. Ze misten nuance, herhaalde thema's en de emotionele lading.
• De Groei: Hoe meer data ze gaven, hoe beter de AI werd, maar zelfs met enorme hoeveelheden data haalde de AI nooit het niveau van een menselijke expert.
  • Vergelijking: Je kunt een robot duizenden keren laten zien hoe je een bal gooit. Hij wordt er goed in. Maar als je vraagt: "Waarom gooit die persoon de bal met verdriet?", begrijpt de robot het niet. Hij ziet alleen de beweging, niet het gevoel.

5. Waarom is dit belangrijk?

De auteurs zeggen: We moeten stoppen met AI als "waarheid" te zien.

AI is geweldig in het vinden van patronen en het samenvatten van woorden. Maar het is geen filosoof, geen psycholoog en geen mens. Het simuleert begrip, maar het heeft geen begrip.

• De Les: Als je AI gebruikt om gevoelige onderwerpen te bespreken (zoals gezondheid, recht, of menselijke relaties), moet je altijd een menselijke expert erbij halen om te controleren of de "smaak" van het verhaal klopt. Vertrouw niet alleen op de cijfers van de computer.

Kortom:
De AI is een briljante imitator die perfect kan naspelen wat we zeggen, maar hij begrijpt niet wat we menen. De "ICR" is de nieuwe manier om te checken of de AI echt luistert, of dat hij alleen maar het geluid nabootst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries", geschreven in het Nederlands.

Probleemstelling

De kern van het probleem dat dit artikel adresseert, is de fundamentele kloof tussen hoe menselijke taal betekenis construeert en hoe Large Language Models (LLM's) taal verwerken en evalueren.

• Semiotische complexiteit: Menselijke betekenis is relationeel, contextafhankelijk en emergent. Het ontstaat uit een dynamisch systeem van tekens (waarbij een signifiant of woord gekoppeld is aan een signifié of conceptuele betekenis die varieert per context). Dit wordt geïllustreerd met het woord "Nevermore" uit Edgar Allan Poe's gedicht, dat verschillende betekenissen heeft afhankelijk van de context.
• Beperkingen van huidige evaluatie: Traditionele automatische evaluatiemetingen (zoals ROUGE, BLEU, BERTScore) behandelen woorden vaak als statische eenheden of meten alleen oppervlakkige statistische overeenkomsten (lexicale overlap, vector-similairiteit). Ze falen in het vastleggen van polysemie (meerdere betekenissen van één woord), contextuele verschuivingen en de diepere, relationele betekenis die essentieel is voor menselijke interpretatie.
• Het gevolg: LLM's kunnen hoge scores behalen op automatische metrics terwijl ze de kernbetekenis van een tekst verdraaien, weglaten of hallucineren. Er is een gebrek aan een methode om de semantische waarheidsgetrouwheid (semantic fidelity) van AI-gegenereerde teksten objectief te kwantificeren ten opzichte van menselijke interpretatie.

Methodologie: De ICR-metriek

De auteurs introduceren de Inductive Conceptual Rating (ICR), een hybride evaluatiemethode die kwalitatieve onderzoeksmethoden combineert met een gestructureerde kwantificering. De methode is gebaseerd op semiotiek en hermeneutiek en volgt een vierstapsproces:

1. Reflective Thematic Analysis (RTA) - De Menselijke Baseline:

   • Een groep experts voert een RTA uit op de "golden dataset" (de referentietekst).
   • Dit is een inductief proces (gebaseerd op Braun & Clarke) om thema's, concepten en relationele betekenissen te identificeren zonder vooraf bepaalde codes op te leggen.
   • Het resultaat is een menselijk geïnterpreteerde thematische structuur die dient als de "ground truth" voor betekenis.

2. Inductive Content Analysis (ICA) - Analyse van AI-Output:

   • Dezelfde ICA-methode (gebaseerd op Zhang & Wildemuth) wordt onafhankelijk toegepast op de door de LLM gegenereerde samenvattingen.
   • Hierbij worden de concepten en signifiers in de AI-output geanalyseerd om te zien hoe het model betekenissen construeert, prioriteiten stelt en omgaat met polysemie.

3. Vergelijking en Analyse:

   • De ICA-resultaten van de AI worden systematisch vergeleken met de RTA-baseline van de mens.
   • Er wordt gekeken naar:
     • Overeenkomst: Zijn de kernconcepten aanwezig?
     • Verdraaiing: Worden concepten verkeerd geïnterpreteerd of in een verkeerde context geplaatst?
     • Omissie: Welke menselijke nuances ontbreken?
     • Hallucinatie: Zijn er concepten toegevoegd die niet in de bron staan?

4. Kwantificering (De ICR-score):

   • De kwalitatieve bevindingen worden omgezet in een kwantitatieve score (0 tot 1) door het tellen van:
     • True Positives (TP): Correct geïdentificeerde concepten.
     • False Negatives (FN): Menselijke concepten die door de AI zijn gemist.
     • False Positives (FP): Concepten die door de AI zijn toegevoegd maar niet in de bron staan.
     • True Negatives (TN): Correcte uitsluiting van irrelevante concepten.
   • De ICR-score geeft een maatstaf voor de semantische nauwkeurigheid en waarheidsgetrouwheid, niet alleen voor oppervlakkige woordovereenkomst.

Empirische Studie:
De methode werd getest op vijf datasets met variërende grootte (N=50 tot N=800) over het onderwerp "percepties van werk". Twee modellen (Sonnet 3.5 en Nova Pro) werden vergeleken met menselijke experts.

Belangrijkste Resultaten

• Oppervlakkige vs. Diepe Prestatie: LLM's presteerden uitstekend op traditionele linguïstische metrics (Cosine Similarity, F1-score), wat aangeeft dat ze lexicaal en thematisch goed lijken te matchen. Echter, op de ICR-metriek (semantische nauwkeurigheid) scoorden ze aanzienlijk lager dan mensen.
• De "Semantische Kloof": Zelfs de beste modellen (zoals Sonnet 3.5) behaalden ICR-scores rond de 0,35 - 0,76, terwijl menselijke experts consistent scores van >0,86 behaalden. Dit toont aan dat modellen vaak de nuance, relationele context en herhalende, contextueel gewortelde betekenissen missen.
• Invloed van Datasetgrootte: De prestaties van LLM's verbeterden met grotere datasets (van N=50 naar N=800), maar de kloof met menselijke interpretatie bleef bestaan. Grotere datavolume garandeert geen volledige semantische convergentie met menselijk inzicht.
• Variabiliteit: Er was aanzienlijke variatie tussen de modellen, wat suggereert dat architecturale complexiteit of "nieuwheid" van een model niet automatisch leidt tot beter semantisch begrip.

Kernbijdragen

1. Theoretisch Kader: Het artikel positioneert GenAI-output niet als "betekenisgeneratie" maar als "betekenis-simulatie". Het benadrukt dat AI statistische patronen nabootst zonder de reflexiviteit, historische context of culturele situering die essentieel zijn voor menselijke hermeneutiek.
2. Methodologische Innovatie (ICR): De introductie van de ICR-metriek biedt een gestructureerde, reproduceerbare manier om kwalitatieve interpretatie te kwantificeren. Het combineert de diepgang van semiotische analyse met de schaalbaarheid van kwantitatieve scoring.
3. Kritische Evaluatie van Bestaande Metrics: Het toont aan dat automatische metrics (zoals BERTScore) misleidend kunnen zijn voor taken die diep semantisch begrip vereisen, zoals samenvattingen van ongestructureerde data.
4. Epistemologische Implicatie: Het pleit voor een "mens-in-de-lus" benadering waarbij menselijke interpretatie de basis vormt voor evaluatie, in plaats van te vertrouwen op volledig geautomatiseerde systemen voor waarheidsgetrouwheid.

Significantie en Conclusie

De studie concludeert dat LLM's uitstekend zijn in het repliceren van taalpatronen (grammatica, woordkeuze), maar falen in het begrijpen van de betekenis achter die taal. De ICR-metriek is een cruciaal instrument voor onderzoekers en praktijken om:

• De betrouwbaarheid van AI-generaties in hoog-risico domeinen (zoals juridische of medische teksten) te toetsen.
• Te voorkomen dat AI-systemen worden gebruikt als "waarheidstellers" zonder menselijke toetsing.
• Een balans te vinden tussen de schaalbaarheid van AI en de noodzaak van contextueel, menselijk inzicht.

De auteurs bepleiten een verschuiving in evaluatie: van het meten van statistische gelijkenis naar het beoordelen van semantische waarheidsgetrouwheid, waarbij menselijke interpretatie centraal staat als de ultieme maatstaf voor betekenis.