AI Blob! LLM-Driven Recontextualization of Italian Television Archives

Dit paper introduceert AI Blob!, een experimenteel systeem dat Large Language Models en semantische technologieën gebruikt om Italiaanse televisiearchieven te transcriberen, te categoriseren en automatisch te herschikken tot thematische montages die de ironische en kritische stijl van het oorspronkelijke programma 'Blob' nabootsen.

De kern

Stel je voor dat je een enorme, oude kelder vol met videobanden hebt. Deze banden bevatten duizenden uitzendingen van de Italiaanse televisie uit de afgelopen decennia. Normaal gesproken zou je deze banden moeten bekijken, één voor één, om te zoeken naar iets specifieks. Dat is saai en tijdrovend.

Dit paper introduceert AI Blob!, een slim computerprogramma dat deze kelder niet alleen doorzoekt, maar er ook een grappig, nieuw verhaal van maakt. Het is alsof je een robot hebt die niet alleen de banden kan lezen, maar ook een satirisch regisseur is.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. De inspiratie: De "Blob"

Het idee komt van een beroemd Italiaans televisieprogramma dat Blob heet. In dat programma namen makers oude TV-beelden en monteerden ze op een grappige manier. Ze zetten bijvoorbeeld een politicus die iets belooft, direct naast een clip van iemand die datzelfde belooft, maar dan in een heel andere context. Het resultaat is vaak hilarisch en onthult de absurditeit van de maatschappij.

AI Blob! doet precies hetzelfde, maar dan volledig automatisch met behulp van kunstmatige intelligentie (AI).

2. De "Brein-Transformatie" (Van geluid naar betekenis)

Stel je voor dat je de audio van 1.547 videobanden hebt. De computer doet het volgende:

• Luisteren: Het programma luistert naar alle audio en schrijft alles letterlijk uit (zoals een stenograaf).
• Knippen: Het knipt deze lange teksten in kleine zinnetjes.
• De "Geest" van de zin: Dit is het magische deel. De computer kijkt niet alleen naar de woorden, maar begrijpt de betekenis. Het zet elke zin om in een soort "geestelijke vingerafdruk" (een wiskundig getal).
  • Vergelijking: Stel je voor dat elke zin een kleur heeft. Zinnen die over hetzelfde gaan (bijvoorbeeld "politiek" of "liefde") hebben een vergelijkbare kleur, zelfs als ze heel andere woorden gebruiken.

3. De Regisseur (De AI)

Nu heb je een enorme pot met deze "geestelijke vingerafdrukken". Wat doet de AI nu?

• Jij kiest een onderwerp: Jij zegt tegen de computer: "Maak een video over hypocriete politici."
• De AI denkt na: De AI bedenkt zelf grappige of absurde manieren om dat onderwerp te benaderen. Het denkt: "Oké, laten we zoeken naar zinnen die klinken als beloften, maar die eigenlijk niets betekenen."
• Zoeken: De AI zoekt in zijn pot met vingerafdrukken naar zinnen die passen bij dit idee.
• De "Ironie-Test": De AI kijkt naar elke gevonden zin en geeft een cijfer: "Is deze zin grappig als je hem uit zijn context haalt?" (Een 10 is heel grappig/absurd, een 1 is saai).
• De Montage: De AI plakt de beste zinnen aan elkaar in een specifiek patroon:
  1. Introductie: Iets serieus beginnen.
  2. Opbouw: Langzaam grappiger maken.
  3. Climax: De meest absurde en tegenstrijdige momenten.
  4. Slot: Een grappige conclusie.

4. Het eindresultaat

De computer haalt de originele videofragmenten op die horen bij die zinnen en plakt ze aan elkaar. Het resultaat is een nieuwe video die eruitziet als een professionele, satirische montage, gemaakt door een robot die de Italiaanse televisiegeschiedenis "leest" en er een grapje van maakt.

Waarom is dit belangrijk?

• Nieuwe manier van kijken: In plaats van te zoeken met trefwoorden (zoals "voetbal"), kun je zoeken op gevoel of idee.
• Openbaar erfgoed: De makers hebben alle data en de code gratis beschikbaar gemaakt. Iedereen kan nu spelen met deze "robot-regisseur" en zelf nieuwe verhalen maken uit oude archieven.
• Beperkingen: Het is nog niet perfect. De computer ziet de beelden niet echt (alleen de tekst), dus hij mist soms de visuele grapjes. Maar het is een enorme stap in het gebruik van AI voor creativiteit en geschiedenis.

Kortom: AI Blob! is een robot die duizenden oude TV-uitzendingen leest, de grappigste en meest absurde momenten eruit plukt, en die combineert tot een nieuwe, satirische film. Het is alsof je een robot hebt die de geschiedenis van de televisie "doorleeft" en er een komedie van maakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AI Blob! LLM-Driven Recontextualization of Italian Television Archives" in het Nederlands.

Titel: AI Blob!: LLM-gedreven Recontextualisatie van Italiaanse Televisiearchieven

1. Het Probleem

Traditionele methoden voor het catalogiseren en terugvinden van archiefmateriaal zijn sterk afhankelijk van statische metadata en trefwoorden. Hoewel kunstmatige intelligentie (AI) de zoekbaarheid heeft verbeterd, missen bestaande systemen vaak het vermogen tot creatieve hergebruik en diepgaande semantische recontextualisatie.

• Bestaande projecten (zoals het BBC-project BBC Made by Machine) maakten gebruik van oppervlakkige semantische gelijkenissen, wat resulteerde in montages zonder diepere contextuele of ironische samenhang.
• Er is een behoefte aan systemen die niet alleen zoeken op inhoud, maar ook narratieve structuren kunnen creëren die de editorialkeuzes van menselijke redacteuren nabootsen, specifiek met een satirische of ironische insteek, zoals kenmerkend is voor het Italiaanse televisieprogramma Blob.

2. Methodologie

Het project introduceert AI Blob!, een experimenteel systeem dat Large Language Models (LLMs), Automatic Speech Recognition (ASR) en Retrieval-Augmented Generation (RAG) combineert om televisiefragmenten automatisch te herschikken tot nieuwe narratieve montages.

A. Dataset Voorbereiding

• Bronnen: Data is verzameld uit het ITTV-dataset (2.625 video's) en het YouTube-kanaal Indimenticabile TV.
• Filtering: Na het verwijderen van niet-beschikbare video's en het filteren op taalgebruik (met FastText voor niet-Italiaanse content), bleven 1.547 unieke Italiaanse televisievideo's over.
• Transcriptie: Audio is getranscribeerd met WhisperX voor nauwkeurige woord-tijdstempels.
• Segmentatie: De transcripties zijn opgesplitst in 212.696 unieke zinnen met behulp van Punkt Sentence Tokenizer en een transformer-model (xlm-roberta) voor het herstellen van leestekens en hoofdletters.
• Embedding: Zinnen zijn omgezet in vectorrepresentaties met Cohere's Embed Multilingual V3 (een multimodaal embedding-model) en opgeslagen in ChromaDB voor snelle semantische zoekopdrachten.

B. Het Generatieproces (Scripting en Narratieve Constructie)
Het systeem volgt een sequentieel proces om een satirisch verhaal te bouwen rond een door de gebruiker gekozen thema:

1. Thematische Verkenning & Query-Generatie: Op basis van een centraal thema genereert het LLM onconventionele, ironische of absurde perspectieven (geïnspireerd op lateraal denken). Hieruit worden meerdere zoekopdrachten gegenereerd om de database breed te doorzoeken.
2. Semantische Zoeking: De gegenereerde queries worden gebruikt om relevante zinnen uit de vectordatabase op te halen, waarbij duplicaten worden uitgesloten.
3. Evaluatie en Filtering: Het LLM scoort elke opgehaalde zin op twee schalen (1-10):
   • Ironie-score: Beoordeelt de potentie voor humoristische dissonantie of paradoxale formulering als de zin uit zijn oorspronkelijke context wordt gehaald.
   • Relevantie-score: Beoordeelt de thematische alignering met het centrale onderwerp.
   • Zinnen die boven een bepaalde drempel scoren op of ironie of relevantie, worden behouden.
4. Algoritmische Segmentatie: De behouden zinnen worden ingedeeld in vier narratieve secties op basis van hun scores:
   • Introductie: Lage ironie, hoge relevantie (zachte insteek).
   • Opbouw: Progressieve toename van de ironie-score.
   • Climax: Uitsluitend zinnen met de hoogste ironie-scores (maximale absurditeit).
   • Conclusie: Gebalanceerde ironie en relevantie voor afsluiting.
5. Strategische Ordening: Binnen elke sectie worden de zinnen door het LLM gerangschikt om maximale semantische en ironische contrasten te creëren.
6. Video Assemblage: De geselecteerde zinnen worden gekoppeld aan de originele videofragmenten (via tijdstempels). Er worden audio-overgangen (fade-in/out) toegepast, een introductievideo toegevoegd en de audio genormaliseerd om een coherente video te produceren.

3. Belangrijkste Bijdragen

• Conceptueel Kader: Een nieuwe aanpak voor archiefonderzoek die statische metadata vervangt door dynamische, inhoudsgerichte semantische zoekopdrachten voor creatieve hergebruik.
• Open Data: Publicatie van een dataset van 1.547 getranscribeerde video's, inclusief de transcripties en de voorgevulde vectorstore, beschikbaar via Zenodo.
• Open Source: De volledige broncode is beschikbaar op GitHub.
• Demonstratie: Een YouTube-playlist met gegenereerde video's die de mogelijkheden van geautomatiseerde, satirische montage aantonen.

4. Resultaten en Beperkingen

Resultaten:
Het systeem slaagt erin om thematisch coherente en ironisch geladen montages te produceren die de editorialstijl van Blob nabootsen. Het demonstreert dat LLMs in staat zijn om narratieve boogjes te construeren door zinnen te selecteren op basis van abstracte concepten (zoals "paradox" of "satire") in plaats van alleen trefwoorden.

Beperkingen:

• Tijdstempel-nauwkeurigheid: Soms zijn er mismatches tussen de getranscribeerde tekst en de daadwerkelijke video-inhoud door imperfecties in de ASR-word-alignment.
• Unimodale Analyse: Het systeem analyseert momenteel alleen audio/tekst. Het mist visuele elementen, wat essentieel is voor de volledige Blob-stijl (die vaak draait om visuele ironie).
• Datasetgrootte: De dataset van 1.547 video's is beperkt, wat de diepgang van specifieke satirische thema's kan belemmeren.
• Coherentie: Hoewel het LLM de selectie leidt, bereiken de fragmenten niet altijd een perfecte thematische samenhang of effectieve ironische contrasten.

5. Betekenis en Toekomstperspectief

AI Blob! markeert een stap voorwaarts in AI-gedreven mediageschiedschrijving. Het bewijst dat semantische technologieën kunnen worden ingezet voor meer dan alleen zoekopdrachten; ze kunnen dienen als creatieve partners voor het herschrijven van cultureel erfgoed.

Toekomstige ontwikkelingen:

• Multimodale Embeddings: Integratie van visuele embeddings om ook beeldmateriaal te analyseren en visuele ironie te detecteren.
• Dataset-expansie: Uitbreiding van de dataset voor meer thematische diversiteit.
• Sequentiële Selectie: Overgang van een filter-benadering naar een sequentiële methode waarbij elke nieuwe zin wordt geselecteerd op basis van de relatie met de reeds geselecteerde inhoud, voor een vloeiender narratief.

Het project biedt een model voor computationele creativiteit dat de erfenis van televisie respecteert terwijl het de potentie van AI omarmt voor kritische en nieuwe interpretaties van archiefmateriaal.