Technische Samenvatting: Scribby – Een Multi-Level LLM-framework voor Semantische Video-analyse

Probleemstelling

De exponentiële groei van video-inhoud op educatieve platforms, streamingdiensten en livestreams heeft handmatige analyse onmogelijk gemaakt. Hoewel er bestaande AI-gestuurde tools voor video-samenvattingen zijn, opereren deze doorgaans op een grove granulariteit, waarbij ze hoogwaardige overzichten of sleutelframes extraheren. Deze benaderingen slagen er niet in om de fijnmazige semantische structuur, thematische progressie en topische relaties te vangen die nodig zijn voor uitgebreide video-analyse. Gebruikers die specifieke informatie zoeken binnen langdurige content missen vaak efficiënte navigatietools, en zijn afhankelijk van vooraf gedefinieerde hoofdstukmarkeringen (indien beschikbaar) of tijdrovend handmatig scrolen. Bov�iment de huidige methoden moeite met het behouden van robuustheid bij zowel gestructureerde content (bijv. colleges) als ongestructureerde content (bijv. livestreams), terwijl de semantische nauwkeurigheid op microniveau gewaarborgd moet blijven.

Methodologie

Scribby is een multi-level framework dat is ontworpen om macro-niveau begrip te balanceren met micro-niveau semantische analyse. Het systeem verwerkt video-inhoud via drie primaire stadia:

1. Video-transcriptie en Macro-samenvatting

• Transcriptie: De audio van de video wordt geëxtraheerd via FFmpeg en getranscribeerd met het OpenAI Whisper-model, wat volledige transcripten genereert met zinsniveau-tijdstempels.
• Macro-context: Het volledige transcript wordt samengevat door een Large Language Model (LLM) om een hoogwaardig video-overzicht te genereren. Deze macro-samenvatting dient als globale context voor de downstream-analyse en helpt het LLM bij het identificeren van logische divisies om kandidaat-hoofdstukgrenzen voor te stellen.

2. Analyse op Zinsniveau en Semantische Clustering

In tegenstelling tot methoden die zinnen in isolatie analyseren, construeert Scribby een multi-source context voor elke transcript-zin, inclusief:

• De zin zelf.
• De macro-niveau video-samenvatting.
• Samenvattingen van aangrenzende zinnen (voorafgaand en volgend).
• Historische context van eerder geanalyseerde zinnen binnen de huidige semantische cluster.

LLM als Rechter: Het systeem gebruikt een LLM niet enkel als samenvatter, maar als een semantische rechter. Voor elke zin wordt het LLM geprompt met de huidige vers die wordt samengesteld, de zin die wordt geëvalueerd, de globale context en expliciete groeperingscriteria. Het LLM bepaalt of de zin de huidige semantische cluster voortzet of een nieuwe "verse" (een semantisch coherente cluster) initieert. Deze aanpak legt genuanceerde thematische verschuivingen vast die pure embedding-gebaseerde afstandscriteria mogelijk zouden missen.

3. Vectorruimte-representatie en Visualisatie

• Embedding: Gefinaliseerde verse-samenvattingen worden ge-embedded met behulp van Nomic-embed-text, een lichtgewicht model dat is geoptimaliseerd voor semantische zoekopdrachten (768 dimensies).
• Interactieve Tijdlijn: Verses worden gevisualiseerd op een interactieve tijdlijn. Wanneer een gebruiker een query indient, berekent het systeem de cosinus-gelijkenis tussen de query-embedding en de verse-embeddings.
• Heatmap Visualisatie: Gelijkenisscores worden gemapt naar kleurverlopen, wat een relevantie-heatmap over de video-tijdlijn creëert. Dit stelt gebruikers in staat om visueel relevante themaverschuivingen te identificeren en relevante secties snel te lokaliseren.
• Retrieval: Hoog-gelijke verses kunnen worden gecombineerd om query-specifieke samenvattingen te genereren, wat content-bewuste extractie mogelijk maakt die analoog is aan Retrieval-Augmented Generation (RAG) systemen.

Belangrijkste Bijdragen

1. Multi-Level Semantisch Framework: Scribby integreert macro-niveau video-begrip met micro-niveau semantische analyse, waardoor fijnmazige, semantisch gestructureerde representaties ("verses") worden gecreëerd in plaats van enkele samenvattingen.
2. Context-bewuste LLM-beoordeling: Het framework maakt gebruik van LLM's als semantische rechters, waarbij gebruik wordt gemaakt van globale transcript-context en lokale zin-relaties om clustergrenzen te bepalen, wat superieur is aan puur structurele of afstand-gebaseerde segmentatie.
3. Interactieve Relevantie-heatmaps: Het systeem visualiseert de semantische structuur via een kleurgecodeerde tijdlijn, wat snelle identificatie van relevante secties op basis van gebruikersqueries mogelijk maakt.
4. Structuur-agnostische Werking: Het framework is ontworpen om consistent te presteren bij zowel goed gestructureerde educatieve content als ongestructureerde, exploratieve livestreams.

Experimentele Resultaten

Het framework werd geëvalueerd met behulp van drie experimenten:

Experiment 1: Query Recall en Semantische Coherentie

Bij testen op een tutorial-video ("How to Create a Neural Network") vertoonden relevante queries (bijv. "Neural network") een hogere gemiddelde embedding-gelijkenis (0.526) en een grotere variantie (0.106) vergeleken met niet-gerelateerde queries (bijv. "Marathon training", 0.339 gemiddelde, 0.028 std). Dit ondersteunt de hypothese dat relevante onderwerpen diverse gelijkenisscores genereren over verschillende contexten, terwijl irrelevante onderwerpen consequent lage scores produceren.

Experiment 2: Afstemming met Menselijk Gedefinieerde Hoofdstukken

Scribby's verses werden vergeleken met 21 door mensen gedefinieerde YouTube-hoofdstukken uit dezelfde tutorial.

• Temporele Nauwkeurigheid: De gemiddelde tijdverschuiving tussen de grenzen van de Scribby-verses en de menselijke hoofdstukken was 11,29 seconden, waarbij de meeste afwijkingen onder de 10 seconden lagen.
• Semantische Correspondentie: In gevallen waarin de door het LLM gegenereerde samenvattingen letterlijke verwijzingen bevatten naar menselijke hoofdstuknamen, was de gemiddelde cosinus-gelijkenis tussen de verse-samenvatting en de hoofdstuknaam 0,654, wat aanzienlijk hoger is dan het baseline gemiddelde van 0,428.
• Granulariteit: Scribby genereerde 51 verses vergeleken met 21 menselijke hoofdstukken, waardoor fijnmazige semantische transities werden gevangen terwijl de afstemming met hoogwaardige structurele divisies behouden bleef.

Experiment 3: Prestaties over Verschillende Contenttypes

Het systeem werd getest op een gestructureerde video (geplande ontwikkelingslog) en een ongestructureerde video (ongeëditeerde livestream).

• Consistentie: De gemiddelde duur van de verses verschilde slechts 8,6% (58s vs. 63s), wat aangeeft dat het segmentatiegedrag onafhankelijk is van de organisatie van de content.
• Efficiëntie: Scribby verwerkte video's in ongeveer 17–21% van de bronvideo-duur. In contrast hiermee vereist een handmatige expertreview doorgaans 100% van de bron-duur. Dit vertegenwoordigt een efficiëntiewinst van 5–6x ten opzichte van handmatige review.
• Computationele Kosten: Semantische analyse op zinsniveau domineerde de computationele kosten (ongeveer 70% van de verwerkingstijd), terwijl transcriptie en macro-samenvatting generatie minimale componenten waren.

Betekenis en Beperkingen

Betekenis:
Het paper vestigt Scribby als een fundament voor visualiserende video-analyse tools, en demonstreert dat LLM-gebaseerde semantische beoordeling gecombineerd met vectorruimte-retrieval effectief een balans kan vinden tussen computationele efficiëntie en semantische rijkdom. Het gaat verder dan geïsoleerde oplossingen door te bewegen naar uitgebreid video-begrip door middel van query-gebaseerde highlight-functies, semantische samenvatting en interactieve exploratie. Het framework is bijzonder waardevol voor het navigeren door langdurige educatieve en technische content waar thematische progressie cruciaal is.

Beperkingen:

• Beperkingen van Embeddings: Cosinus-gelijkenis legt mogelijk geen volledige semantische equivalentie vast; samenvattingen met een hoge gelijkenis kunnen dezelfde vocabulaire delen maar verschillen in intentie, vooral bij domeinspecifieke terminologie.
• Afhankelijkheid van LLM: Prestaties leunen op de capaciteiten van het LLM. Variaties in prompt-formulering, modeltoestand of inherente stochasticiteit kunnen leiden tot inconsistente segmentatiebeslissingen.
• Evaluatieomvang: De huidige evaluatie richtte zich voornamelijk op technische tutorials met duidelijke structuren. Generaliseerbaarheid naar diverse contenttypes (nieuws, entertainment, creatieve werken) vereist verdere tests.
• Computationele Overhead: Analyse op zinsniveau verbruikt 50–60% van de totale verwerkingstijd vanwege herhaalde LLM-inferentie, wat real-time verwerking uitdagend maakt zonder optimalisatie (zoals batching of modeldistillatie).
• Gebruikerslast: Gebruikers moeten effectieve queries formuleren om de heatmap-visualisatie te benutten, hoewel het systeem momenteel geen automatische suggesties voor queries biedt.

Toekomstige Richtingen:
De auteurs stellen voor om de evaluatie uit te breiden naar diverse contenttypes, multi-modale analyse toe te voegen (visuele scène-detectie, OCR), gebruikersgestuurde LLM-prompting mogelijk te maken voor domeinspecifieke verfijning, formele kwalitatieve gebruikersstudies uit te voeren en de pipeline te optimaliseren voor real-time verwerking en schaalbaarheid.