Automated Motif Indexing on the Arabian Nights

Titel: Geautomatiseerde Motief-Indexering op De Duizend-en-Een-Nachten

Auteurs: Ibrahim H. Alyami en Mark A. Finlayson

---

1. Probleemstelling

Motieven zijn niet-alledaagse, terugkerende narratieve elementen die vaak hun oorsprong vinden in volksverhalen, maar ook als metaforische hulpmiddelen voorkomen in moderne teksten (nieuws, propaganda, literatuur). Hoewel eerdere studies zich hebben gericht op het detecteren van motieven in moderne teksten (waarbij onderscheid moet worden gemaakt tussen motief-gebruik, referentie en ongerelateerd gebruik), is er weinig werk gedaan aan motief-indexering: het automatisch vinden van motieven in de oorspronkelijke volksverhalen zelf.

De belangrijkste barrière voor het ontwikkelen van geautomatiseerde systemen voor deze taak is de beschikbaarheid van data. Folkloristen hebben uitgebreide motief-indexen gemaakt (zoals de Thompson Motif-Index), maar de bijbehorende teksten zijn vaak niet gedigitaliseerd, moeilijk toegankelijk, of de indexen verwijzen naar oude edities met archaïsche taal en OCR-fouten. Er ontbreekt dus een grote, gedigitaliseerde dataset die gekoppeld is aan een gedetailleerde motief-index.

2. Methodologie

De auteurs hebben een computationele aanpak ontwikkeld om motieven te indexeren in De Duizend-en-Een-Nachten (Arabian Nights).

A. Dataverzameling en Voorverwerking

• Bron: De auteurs gebruiken de tekst van De Duizend-en-Een-Nachten (vertaling van Robert Irwin, 2010) gekoppeld aan de motief-index van El-Shamy (2006), die ongeveer 5.000 motieven catalogiseert.
• Alignement: Omdat El-Shamy's index verwijst naar de archaïsche vertaling van Burton (1885), moesten de pagina's van Burton worden uitgelijnd met de moderne tekst van Irwin.
  • Eerst werd een BERT-gebaseerde aanpak getest (0.93 nauwkeurigheid).
  • Vervolgens werd een Needleman-Wunsch-algoritme (een lineair programmeringsalgoritme voor sequentie-alignement) gebruikt, aangevuld met een synoniem-detector (via WordNet). Dit bereikte 0.99 nauwkeurigheid en vormde de basis voor de verdere analyse.
• Complexiteitsanalyse: Motieven werden geanalyseerd op twee dimensies:
  1. Conceptuele complexiteit: Hoe complex is het idee? (Eenvoudig vs. Complex, gebaseerd op een semantisch netwerk).
  2. Uitdrukkingscomplexiteit: Hoe complex is de tekstuele weergave? (Eenvoudig: directe woorden; Complex: indirect, verspreid over zinnen of metaforisch).
     Dit resulteerde in vier categorieën: Eenvoudig/Eenvoudig, Eenvoudig/Complex, Complex/Eenvoudig, en Complex/Complex.

B. Data Annotatie

• Een menselijk geannoteerd corpus werd opgebouwd via een machine-in-the-loop strategie. Een basissysteem haalde zinnen op, die vervolgens handmatig werden gelabeld.
• Dataset: 58.450 zinnen geannoteerd voor 200 verschillende motieven.
  • 2.670 positieve voorbeelden (motief aanwezig).
  • 55.779 negatieve voorbeelden (motief afwezig).
• Inter-annotator overeenstemming: Cohen's Kappa van 0.72 (substantieel), wat aangeeft dat de taak betrouwbaar door mensen kan worden uitgevoerd.

C. Geëvalueerde Benaderingen

De auteurs testten vijf verschillende methoden om te voorspellen of een zin een specifiek motief bevat:

1. Retrieve-and-Rerank: Lexicale zoekopdracht (BM25) + Semantische zoekopdracht (embeddings) + Herordening met een Cross-Encoder (BERT).
2. Off-the-Shelf Embedding Models: Gebruik van kant-en-klare modellen (Mistral, Gemini, NV-Embed, Jina, T5) met cosinus-ähnlijkheid.
3. Fine-tuned Embedding Models: Aanpassen van SBERT en T5 op de specifieke dataset.
4. Generatieve Prompting (Zero-shot & Few-shot): Gebruik van grote taalmodellen (LLMs) zoals Mistral-7B en Llama-3.1-8B zonder of met voorbeelden in de prompt.
5. Fine-tuned LLMs (LoRA): Aanpassen van Mistral en Llama met Low-Rank Adaptation (LoRA) op de dataset.

3. Belangrijkste Resultaten

De prestaties werden gemeten aan de hand van F1-score, Precision en Recall, gesplitst per complexiteitscategorie.

• Retrieve-and-Rerank: Presteerde het slechtst overall (F1 ~0.36), maar was effectief voor eenvoudige motieven. Het diende vooral als een snelle eerste stap voor data-verzameling.
• Embedding Models: Kant-en-klare embedding-modellen bereikten een gemiddelde F1 van 0.57. Fine-tuning verbeterde dit licht (T5 fine-tuned: F1 0.67).
• Generatieve Modellen (LLMs):
  • Zero-shot: Zonder voorbeelden presteerden LLMs matig (F1 ~0.67), wat aantoont dat motieven een uitdagende taak zijn zonder specifieke training.
  • Few-shot: Met een paar voorbeelden steeg de prestatie aanzienlijk (Mistral F1 0.78).
  • Fine-tuned LLMs (LoRA): Dit was de beste aanpak.
    • Mistral-FT: F1 van 0.81.
    • Llama-3-FT: F1 van 0.85.
• Invloed van Complexiteit: Alle systemen presteerden significant beter op motieven met een eenvoudige structuur en uitdrukking. Complexe motieven (zowel conceptueel als tekstueel) bleven moeilijk, met name voor de zero-shot modellen.

4. Bijdragen

1. Eerste computationele aanpak voor motief-indexering: Dit is het eerste werk dat zich richt op het automatisch vinden van motieven in de oorspronkelijke volksverhaaltjes, in plaats van alleen in moderne teksten.
2. Data-oplossing: Het overwinnen van de data-beschikbaarheidsproblematiek door het koppelen van een gedetailleerde index (El-Shamy) aan een moderne, gedigitaliseerde tekst (Irwin) via een hoog-nauwkeurig alignement-algoritme.
3. Groot geannoteerd corpus: Creëren van een dataset van 58.450 zinnen met 2.670 positieve motief-voorbeelden, inclusief een analyse van conceptuele en uitdrukkingscomplexiteit.
4. State-of-the-art resultaten: Het aantonen dat fine-tuned LLMs (specifiek Llama-3) zeer effectief zijn voor deze taak (F1 0.85), terwijl ze zonder training of voorbeelden nog steeds worstelen met de nuance van motieven.

5. Betekenis en Toekomstperspectief

De studie toont aan dat geautomatiseerde motief-indexering haalbaar is met moderne NLP-technieken, mits er voldoende hoogwaardige trainingsdata is. Dit opent de deur voor:

• Het automatisch ontdekken van nieuwe motieven.
• Betere interpretatie van motiefgebruik in moderne discoursen (propaganda, nieuws).
• Het trainen van systemen die culturele kennis kunnen begrijpen.

Beperkingen en Toekomstig Werk:

• Huidige modellen zijn beperkt tot het analyseren van enkele zinnen. Veel motieven strekken zich echter uit over meerdere zinnen of pagina's. Toekomstig werk moet gericht zijn op modellen met langere contextvensters (zoals GPT-4o of Gemini 2.0) of Retrieval-Augmented Generation (RAG) om deze cross-sentence patronen te detecteren.
• Verdere uitbreiding van het geannoteerde corpus zou de prestaties van de modellen verder kunnen verbeteren.

Kortom, dit paper legt de basis voor een nieuw veld binnen de computationele folkloristiek en natuurlijke taalverwerking, waarbij culturele kennis systematisch kan worden geëxtraheerd uit klassieke literatuur.