Computational Hermeneutics: Evaluating generative AI as a cultural technology

Titel: Computatieve Hermeneutiek: Generatieve AI evalueren als culturele technologie

Auteurs: Cody Kommers et al. (The Alan Turing Institute, Queen Mary University of London, en diverse andere instellingen)
Status: Geaccepteerd voor publicatie in Frontiers in Artificial Intelligence (voorlopige versie).

---

1. Het Probleem

Generatieve AI-systemen (GenAI) worden steeds vaker erkend als culturele en sociale technologieën. Echter, de huidige evaluatiekaders behandelen cultuur vaak als een variabele die gemeten moet worden (bijvoorbeeld als bias die moet worden gedebugged, of als een parameter voor ethische dilemma's), in plaats van als een fundamenteel onderdeel van de werking van het systeem.

De kern van het probleem is dat standaard AI-benchmarks uitgaan van universele, gestandaardiseerde taken met convergente oplossingen (waarbij er één "juist" antwoord is). Dit paradigma faalt bij culturele taken (zoals het schrijven van een brief, het componeren van muziek of het voeren van een gesprek), waarbij:

• Betekenis niet vaststaat, maar dynamisch is.
• Er meerdere geldige interpretaties kunnen bestaan.
• Context cruciaal is en niet kan worden weggelaten.

Het reduceren van culturele activiteiten tot kwantitatieve proxy-metrics (zoals nauwkeurigheid of BLEU-scores) trivialiseert deze activiteiten en mist de essentie van wat ze betekenisvol maakt. Er is een tekort aan methoden om GenAI te evalueren als een systeem dat actief "interpretatie" verricht in plaats van alleen data te verwerken.

2. Methodologie: Computatieve Hermeneutiek

De auteurs introduceren computatieve hermeneutiek als een nieuw raamwerk. Dit haalt zijn theoretische basis uit de geesteswetenschappen (hermeneutiek), de studie van interpretatie en betekenisgeving.

Theoretische Grondslag:

• De Hermeneutische Cirkel: Interpretatie is een iteratief proces tussen het begrijpen van delen en het geheel. In AI vertaalt dit zich naar de interactie tussen de specifieke dialogische input (de "Chat") en de algemene modelarchitectuur (de "GPT").
• GenAI als "Context Machines": De auteurs stellen dat GenAI-systemen fundamenteel werken als machines die context consolideren. Ze voorspellen de volgende token op basis van een complexe vectorruimte die co-occurrence-statistieken encodeert. Dit proces is intrinsiek interpretatief.

De Drie Hermeneutische Uitdagingen:
Het raamwerk identificeert drie inherente uitdagingen die GenAI-systemen moeten adresseren:

1. Gezetenheid (Situatedness): Betekenis ontstaat alleen in context. Er bestaat geen "godsoogpunt" of neutrale kijk. AI-systemen moeten hun specifieke perspectief erkennen in plaats van te doen alsof ze een universele waarheid presenteren.
2. Pluraliteit: Er bestaan meerdere geldige interpretaties naast elkaar. Wat voor de ene cultuur een bias is, kan voor een andere een waarde zijn. Evaluatie moet ruimte maken voor deze diversiteit in plaats van te streven naar één "correct" antwoord.
3. Ambiguïteit: Betekenis is niet statisch maar ontstaat door de dynamische interactie tussen interpreter en artefact. Ambiguïteit is een generatieve bron, geen ruis die moet worden geëlimineerd. AI-systemen moeten leren om binnen deze onzekerheid productief te navigeren in plaats van semantische onduidelijkheid altijd op te lossen.

3. Belangrijkste Bijdragen

De paper biedt een paradigmaverschuiving in hoe we GenAI evalueren en ontwerpen, met drie concrete principes voor hermeneutische evaluatie:

1. Benchmarks moeten iteratief zijn, niet eenmalig:

   • In plaats van een score op basis van één prompt, moet evaluatie plaatsvinden over een reeks van interacties (multi-turn dialogen).
   • Dit volgt de hermeneutische cirkel: het begrip van het geheel evolueert met elke nieuwe interactie.
   • Voorbeeld: Het evalueren van empathie of relatieopbouw vereist meerdere omwentelingen, niet een eenmalige vraag.

2. Benchmarks moeten mensen omvatten, niet alleen machines:

   • Interpretatie is een relationeel fenomeen dat ontstaat door de samenwerking tussen mens en machine.
   • Evaluatie moet de interactie meten, niet alleen de output van het model. Dit omvat het beoordelen van hoe mensen het model gebruiken, hoe het model hun denken beïnvloedt (metacognitie), en hoe de interpretatie gezamenlijk wordt geconstrueerd.

3. Benchmarks moeten culturele context meten, niet alleen modeloutput:

   • Context mag niet worden behandeld als een beperking, maar als het medium waarin prestaties tot stand komen.
   • Evaluatie moet kijken naar "passendheid" (appropriateness) binnen een specifieke culturele raam, in plaats van alleen "nauwkeurigheid" ten opzichte van een grondwahrheid.
   • Dit vereist benchmarks die gevoelig zijn voor socioculturele variatie (bijv. verschillen tussen Chinese en Amerikaanse normen voor AI-gegenereerde video's).

4. Resultaten en Observaties

Hoewel dit een "Perspective" paper is en geen experimentele studie met nieuwe datasets, presenteren de auteurs een synthese van bestaande onderzoeken die hun theorie ondersteunen:

• Bestaande benchmarks falen: Standaard benchmarks (zoals MMLU of standaard NLP-taken) zijn onvoldoende omdat ze culturele complexiteit reduceren tot binair correct/fout.
• Voorbeelden van vooruitgang: Er zijn al initiatieven die de drie principes toepassen, zoals:
  • Multi-turn benchmarks (bijv. MT-Bench-101) die interactie evalueren.
  • Sociale manipulatie-evaluaties die kijken naar het effect van AI op menselijk gedrag in combinatie met gebruik.
  • Cultuurgebaseerde datasets (zoals "CulturalFrames" of "Videonorms") die feedback baseren op demografische en culturele achtergronden van beoordelaars.
• De rol van de mens: De paper benadrukt dat annotatoren en gebruikers zelf conflicterende interpretaties hebben, en dat AI-systemen deze diversiteit moeten kunnen faciliteren in plaats van te uniformeren.

5. Betekenis en Impact

De significante bijdrage van deze paper ligt in het verschuiven van het discours over AI-evaluatie:

• Van "Accuracy" naar "Meaning": Het verschuift de focus van het meten van hoe dicht een model bij een canonieke waarheid komt, naar het beoordelen van hoe goed het systeem omgaat met betekenisgeving in een specifieke context.
• Interdisciplinaire Integratie: Het biedt een brug tussen de technische wereld van AI en de methodologische tradities van de geesteswetenschappen. Het stelt dat geesteswetenschappers een cruciale rol kunnen spelen bij het definiëren van succesmetrics voor AI.
• Toekomstige Ontwikkeling: Het raamwerk nodigt uit tot het ontwerpen van AI-systemen die niet proberen om "neutraal" te zijn (wat onmogelijk is), maar die transparant zijn over hun perspectief, ruimte bieden voor pluraliteit, en ambiguïteit als een creatieve kracht omarmen.
• Ethische Implicatie: Door cultuur als fundamenteel te erkennen, wordt voorkomen dat AI-systemen culturele nuances uitwissen of als "slop" (inhoudsloze content) worden afgedaan, terwijl ze in andere contexten juist waardevol kunnen zijn.

Conclusie:
Computatieve hermeneutiek biedt een noodzakelijk nieuw paradigma om Generatieve AI te begrijpen als een technologie die actief deelneemt aan het creëren van culturele betekenis. Het stelt dat voor een eerlijke en effectieve evaluatie, we moeten stoppen met het behandelen van cultuur als een variabele en beginnen met het behandelen ervan als de context waarin betekenis wordt gemaakt.