AI Blob! LLM-Driven Recontextualization of Italian Television Archives

Cet article présente AI Blob!, un système expérimental utilisant des modèles de langage et des techniques de récupération sémantique pour réorganiser et réinterpréter automatiquement des archives télévisuelles italiennes en générant des montages narratifs inspirés par l'émission emblématique *Blob*.

L'essentiel

🎬 AI Blob! : Le Chef d'Orchestre Robotique de la Télévision Italienne

Imaginez que vous avez une immense bibliothèque remplie de milliers de vieilles émissions de télévision italiennes. C'est un trésor, mais c'est aussi un chaos : des millions d'heures de vidéos, de discussions, de publicités et de reportages mélangés.

Le problème : Comment trouver une petite phrase précise dans cette montagne de bruit ? Et comment créer une nouvelle histoire drôle ou satirique à partir de ces vieux morceaux ?

C'est là qu'intervient AI Blob!, un projet expérimental qui utilise l'intelligence artificielle pour faire exactement cela.

🧠 1. L'Inspiration : Le "Blob" Humain

Pour comprendre le robot, il faut d'abord comprendre son modèle humain. En Italie, il existe une émission culte appelée Blob (depuis 1989). Son concept est simple et génial :

• Prendre des milliers d'heures de télé.
• Couper des petits bouts.
• Les recoller ensemble de manière ironique pour montrer les contradictions, les absurdités ou les mensonges de la société.
• C'est comme un collage vidéo satirique.

AI Blob! est la version robotisée de ce concept. Il ne regarde pas seulement les étiquettes (comme "Nouvelles" ou "Sport"), il écoute et comprend ce qui est dit.

🛠️ 2. Comment ça marche ? (La Recette du Robot)

Voici les étapes, expliquées avec des analogies du quotidien :

A. La Grande Transcription (Le Scribe)

D'abord, le robot "écoute" 1 547 vidéos. Il utilise une technologie appelée Whisper (comme un scribe ultra-rapide) pour écrire tout ce qui est dit, mot par mot.

• Résultat : Il transforme des heures de vidéo en un immense livre de texte contenant 212 000 phrases.

B. La Carte au Trésor Sémantique (Le Magasin de Mots)

Ensuite, le robot ne se contente pas de lire les mots. Il les transforme en une sorte de "code couleur" ou de "carte d'identité" mathématique.

• L'analogie : Imaginez que chaque phrase est un fruit. Le robot place les fruits qui se ressemblent (même s'ils ne s'écrivent pas pareil) dans le même panier. "Le président a dit oui" et "Le chef a accepté" seront dans le même panier, même si les mots sont différents. C'est ce qu'on appelle les vecteurs.

C. Le Chef d'Orchestre Créatif (Le Cerveau IA)

C'est la partie la plus magique. Quand un humain demande un thème (par exemple : "La politique italienne et les promesses brisées"), le robot ne cherche pas juste ce mot-clé.

1. Il imagine : Il utilise un grand modèle de langage (comme un écrivain IA) pour inventer des idées folles, ironiques ou absurdes autour du thème.
2. Il fouille : Il plonge dans sa "carte au trésor" pour trouver les phrases qui correspondent à ces idées folles.
3. Il note : Il donne une note sur 10 à chaque phrase trouvée :
   • Note d'ironie : Est-ce que cette phrase, sortie de son contexte, fait rire ou choque ?
   • Note de pertinence : Est-ce que ça colle au thème ?

D. Le Montage (Le Réalisateur)

Une fois les meilleures phrases sélectionnées, le robot les assemble comme un réalisateur de cinéma :

• L'Introduction : Des phrases sérieuses pour poser le décor.
• La Montée : Des phrases de plus en plus ironiques pour créer la tension.
• Le Climax : Le moment où tout explose avec les phrases les plus absurdes et contradictoires.
• La Conclusion : Une phrase qui résume tout avec un peu d'humour.

Enfin, il remplace les phrases par les extraits vidéo originaux, ajoute des fondus audio pour que ça soit fluide, et BOUM ! : une nouvelle vidéo satirique est née.

🌍 3. Pourquoi c'est important ?

Ce projet n'est pas juste un jeu. Il change la façon dont on utilise les archives :

• Avant : On cherchait avec des mots-clés rigides (comme chercher un nom dans un annuaire).
• Maintenant : On cherche par sens et par émotion (comme chercher une conversation entre amis).

Le créateur, Roberto Balestri, a rendu tout cela gratuit et public. Il a ouvert les portes de sa bibliothèque numérique pour que d'autres chercheurs, artistes ou curieux puissent jouer avec, créer leurs propres montages et mieux comprendre l'histoire de la télévision italienne.

⚠️ 4. Les Limites (Le Robot n'est pas parfait)

Comme tout robot, AI Blob! a ses défauts :

• Parfois, il ne comprend pas bien qui parle exactement (il peut confondre deux personnes).
• Il ne regarde pas l'image : il ne voit pas si quelqu'un fait une grimace ou pleure, il ne voit que les mots. Or, dans la télé, l'image est souvent aussi importante que le texte.
• Sa bibliothèque est encore un peu petite (1 500 vidéos, c'est énorme pour un humain, mais minuscule pour une IA).

🚀 En résumé

AI Blob! est un outil qui permet de transformer de vieux enregistrements de télévision en nouvelles histoires drôles et critiques, en utilisant l'intelligence artificielle pour comprendre le sens des mots plutôt que de simplement compter les lettres. C'est un pont entre l'histoire de la télé et le futur de la créativité numérique.

Résumé technique

Voici un résumé technique détaillé de l'article « AI Blob! LLM-Driven Recontextualization of Italian Television Archives » par Roberto Balestri, présenté en français.

1. Problématique

Le domaine de l'archivage audiovisuel traditionnel repose principalement sur des métadonnées statiques et des recherches par mots-clés, ce qui limite souvent la réutilisation créative et la réinterprétation du contenu. Bien que l'intelligence artificielle (IA) ait amélioré l'accessibilité via le catalogage sémantique, peu de systèmes parviennent à recontextualiser automatiquement des archives pour créer de nouveaux récits narratifs ou satiriques.

L'objectif est de combler ce fossé en développant un système capable non seulement de retrouver du contenu, mais de le réorganiser de manière autonome pour produire des montages thématiques et ironiques, s'inspirant de l'émission télévisée italienne culte Blob (RAI Tre, 1989–), connue pour son montage satirique par juxtaposition de clips.

2. Méthodologie

Le système AI Blob! repose sur une architecture combinant la reconnaissance automatique de la parole (ASR), les plongements sémantiques (embeddings) et la génération augmentée par récupération (RAG) pilotée par des Modèles de Langage (LLM).

A. Préparation des Données

• Source : Le jeu de données est composé de 1 547 vidéos de télévision italienne, issues du jeu de données ITTV et de la chaîne YouTube Indimenticabile TV.
• Filtrage : Un modèle FastText a été utilisé pour éliminer les contenus non italiens et les vidéos indisponibles.
• Transcription : Utilisation de WhisperX pour la transcription audio précise avec alignement temporel.
• Segmentation : Extraction de 212 696 phrases distinctes à l'aide de tokenizers (Punkt et un modèle transformer xlm-roberta) pour restaurer la ponctuation et la casse.
• Vectorisation : Les phrases sont converties en vecteurs sémantiques via le modèle Cohere Embed Multilingual V3 et stockées dans une base de données vectorielle ChromaDB.

B. Pipeline de Production de Scénarios (Workflow)

Le processus suit une séquence logique pour transformer un thème utilisateur en montage vidéo :

1. Exploration Thématique et Génération de Requêtes :
   • L'utilisateur fournit un thème central.
   • Un LLM génère des idées thématiques basées sur la pensée latérale (ironie, absurdité, paradoxes) pour créer un ensemble de requêtes sémantiques variées.
2. Récupération Sémantique :
   • Les requêtes interrogent la base vectorielle pour récupérer des phrases pertinentes.
   • Une logique de filtrage évite les doublons et assure la diversité du contenu.
3. Évaluation et Filtrage (LLM) :
   • Le LLM évalue chaque phrase sur deux échelles de 1 à 10 :
     • Score d'Ironie : Capacité à produire un effet satirique hors contexte (ambiguïté, dissonance humoristique).
     • Score de Pertinence Thématique : Alignement conceptuel avec le thème global.
   • Seules les phrases dépassant des seuils prédéfinis sont conservées.
4. Segmentation Narrative Algorithmique :
   • Les phrases filtrées sont classées en quatre sections narratives basées sur la distribution statistique de leurs scores :
     • Introduction : Faible ironie, forte pertinence thématique.
     • Développement (Build-up) : Augmentation progressive de l'ironie.
     • Climax : Phrases à l'ironie maximale (absurdité, contradictions).
     • Conclusion : Ironie modérée et bilan thématique.
5. Ordonnancement et Juxtaposition Stratégique :
   • Le LLM réorganise les phrases au sein de chaque segment pour maximiser les contrastes sémantiques et ironiques, créant une tension narrative.
6. Assemblage Final :
   • Récupération des extraits vidéo originaux via les timestamps.
   • Application de fondus audio, normalisation et montage final pour produire une séquence vidéo cohérente.

3. Résultats Clés

• Création de Contenu : Le système a généré avec succès des montages vidéo automatisés qui imitent le style éditorial de Blob, en juxtaposant des extraits de manière à créer du sens par l'ironie et la satire.
• Jeu de Données Ouvert : Le projet a produit et rendu public un jeu de données complet comprenant :
  • Les transcriptions de 1 547 vidéos.
  • La base de données vectorielle pré-remplie.
  • Le code source (disponible sur GitHub).
  • Une playlist YouTube avec des exemples de vidéos générées.
• Preuve de Concept : Démonstration qu'il est possible de passer d'une recherche statique à une reconstruction narrative dynamique pilotée par l'IA, capable de comprendre les nuances contextuelles et ironiques.

4. Limites

• Précision de l'ASR : Des erreurs d'alignement mot-vidéo peuvent survenir, créant des décalages entre le texte et l'image.
• Analyse Unimodale : Le système ne traite actuellement que le texte (audio). Il manque l'analyse visuelle, ce qui empêche de recréer pleinement le style de Blob qui repose souvent sur la juxtaposition ironique entre l'image et le son.
• Cohérence Thématique : Parfois, les clips sélectionnés manquent de cohérence narrative ou de contraste ironique optimal malgré le filtrage.
• Taille du Dataset : Avec 1 547 vidéos, la diversité thématique reste limitée pour des montages très pointus.

5. Contributions et Signification

• Innovation Méthodologique : Ce projet propose un cadre conceptuel pour l'historiographie des médias assistée par l'IA, où l'IA ne se contente pas d'indexer, mais participe activement à la création de nouveaux récits historiques et culturels.
• Outil de Recherche : La mise à disposition publique du dataset et de l'outil favorise l'expérimentation interdisciplinaire dans le domaine des archives audiovisuelles.
• Évolution du Catalogage : Il démontre le potentiel des technologies sémantiques (LLM, RAG, Embeddings) pour dépasser les métadonnées traditionnelles et permettre une réutilisation créative à grande échelle.
• Perspectives Futures : Les travaux futurs visent à intégrer des embeddings multimodaux (images) pour capturer l'ironie visuelle et à étendre la taille du corpus pour affiner la précision narrative.

En conclusion, AI Blob! représente une avancée significative vers une archivage dynamique et créatif, offrant un modèle pour la réinterprétation critique et collaborative des archives télévisuelles grâce à l'intelligence artificielle générative.