💻 computer science

TLG: Temporal-Logic Grounding for Video Question Answering via Source-Annotation Reconstruction and Category-Targeted Reasoning

Het artikel introduceert TLG, een drielaags systeem dat de video-vraagbeantwoording op de TimeLogic Challenge aanzienlijk verbetert door actietijdlijnen te reconstrueren uit bronannotaties en temporele logica-programma's uit te voeren, waarmee wordt aangetoond dat het benutten van echte annotaties in plaats van het schalen van de modelgrootte de sleutel is tot het overwinnen van beperkingen in temporele gronding.

Oorspronkelijke auteurs: Ali Alavi

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Alavi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen waarbij de aanwijzingen verborgen zijn in een video. De vraag is niet alleen "Wat is er gebeurd?", maar eerder: "Zette de persoon de melk in de koelkast vóór of ná het snijden van het brood?" of "Hield ze altijd de pan geroerd terwijl het water aan het koken was?"

Dit is de uitdaging van TimeLogic: een test die computers vraagt om de precieze volgorde en timing van gebeurtenissen in een video te begrijpen, en niet alleen de objecten die ze zien.

Hier is hoe het artikel het probleem en hun oplossing uitlegt, met behulp van eenvoudige analogieën.

Het Probleem: Het "Wazige Camera"-effect

Huidige AI-modellen (Video-Language Models) zijn als mensen die een video bekijken en zich alleen de belangrijkste momentopnames herinneren. Als je hen vraagt: "Blafte de hond voordat de kat sprong?", raden ze vaak willekeurig. Waarom? Omdat ze de video behandelen als een "bag of frames" — een verzameling foto's — in plaats van een continue tijdlijn. Ze kunnen de hond en de kat zien, maar ze kunnen niet precies bepalen wanneer de hond blafte. Ze zijn erg goed in het herkennen van wat er aanwezig is, maar slecht in weten wanneer het gebeurde.

De Oplossing: TLG (Temporal-Logic Grounding)

De auteurs bouwten een driestappen-detectivesysteem genaamd TLG. In plaats van te proberen de AI te leren om tijd perfect te "zien" (wat zij onmogelijk vonden), bouwden ze een systeem dat, wanneer mogelijk, een "spiekbriefje" gebruikt.

Zie TLG als een team met drie niveaus:

Niveau 1: De "Spiekbriefje" Detective (De Symbolische Solver)

Dit is de ster van de show. De onderzoekers realiseerden zich dat de video's in de test afkomstig waren van bestaande datasets die al "scripts" of "annotaties" hadden (zoals een gedetailleerd logboek geschreven door mensen).

Hoe het werkt: In plaats van de AI te vragen de video te bekijken en de timing te raden, zoekt TLG de video-ID op in het logboek. Het vindt de exacte begin- en eindtijden van elke actie (bijv. "Ei gekraakt: 0:05–0:10").
De Magie: Zodra het deze exacte tijden heeft, hoeft het niet te "denken" of te "zien". Het voert simpelweg basisberekeningen uit (zoals controleren of 0:05 vóór 0:10 komt). Het lost de vraag perfect op, net als een rekenmachine.
Het Nadeel: Dit werkt alleen als de video een logboekvermelding heeft. Als de specifieke actie niet in het logboek staat, moet deze detective zeggen: "Ik weet het niet."

Niveau 2: De "Generalist" Detective (De Open VLM)

Wanneer het "Spiekbriefje" niet beschikbaar is, geeft het systeem de vraag door aan een standaard, krachtig AI-model (Qwen2.5-VL-32B).

Hoe het werkt: Deze AI bekijkt de video en probeert een antwoord te geven op basis van wat hij ziet. Hij is goed in algemene vragen, maar heeft nog steeds moeite met precieze timing.
De Strategie: Het systeem gebruikt deze AI voor de "Ja/Nee"-vragen waarbij de AI al redelijk goed in is.

Niveau 3: De "Specialist" Detective (Het Frontier Model)

De onderzoekers merkten op dat de "Generalist" AI erg slecht was in een specifiek type vraag: Multiple Choice (waarbij de AI de juiste volgorde moet kiezen uit vier opties).

De Fix: Voor deze lastige meerkeuzevragen waar het "Spiekbriefje" faalde, stuurden ze de vraag naar een nog slimmere, duurdere AI (Gemini-3.1-Pro).
Het Resultaat: Ze stuurden alleen de moeilijke vragen naar deze dure expert, waardoor de kosten laag bleven (ongeveer $10 in totaal voor de hele test) terwijl de score aanzienlijk werd verhoogd.

De Grote Ontdekking: "Echte Notities" Verslaan "Grotere Breinen"

De meest verrassende bevinding in het artikel is wat niet werkte.

Het Mislukte Experiment: De onderzoekers probeerden een systeem te bouteren waarbij de AI de video zou bekijken en zijn eigen tijdlijn zou creëren (zoals het schrijven van een eigen logboek). Ze probeerden dit met drie verschillende krachtige modellen.
Het Resultaat: Ze faalden allemaal. Ze waren slechter dan wanneer de AI de vraag direct zou beantwoorden.
De Les: Je kunt een AI niet leren om perfect het concept "tijd" te begrijpen door hem simpelweg groter of slimmer te maken. De enige manier om perfecte timing te krijgen, is door echte, door mensen geschreven notities (annotaties) te hebben om op te zoeken.

De Scorekaart

Vóór TLG: Een sterk AI-model kreeg ongeveer 47% goed (eigenlijk gewoon gokken).
Ná TLG: Het systeem kreeg 71,37% goed.
Het Geheime Recept: De grootste sprong in score kwam door het gebruik van de "fijnmazige" menselijke notities (de gedetailleerde logboeken) en vervolgens alleen de moeilijkste vragen naar de dure AI te sturen.

Samenvatting

Het artikel betoogt dat voor dit specifieke type videopuzzel je geen slimmer brein nodig hebt; je hebt een betere kaart nodig. Door een opzoeksysteem voor bekende video's te combineren met een slimme AI voor de onbekende video's, losten ze de "TimeLogic"-uitdaging veel beter op dan wie dan ook. Hiermee bewezen ze dat accurate data (de kaart) belangrijker is dan alleen het hebben van een groter model (het brein).

Technische Samenvatting: TLG (Temporal-Logic Grounding) voor Video Question Answering

Probleemdefinitie

Het artikel behandelt de TimeLogic Challenge, een benchmark voor temporele-logische redenering over video. De taak vereist dat modellen relaties tussen gebeurtenissen bepalen (bijv. voorafgaan, gelijktijdigheid, duur) met behulp van 16 formele temporele operatoren (bijv. BEFORE, AFTER, UNTIL, ALWAYS, CO-OCCUR) in zowel booleaanse (Ja/Nee) als 4-weg meerkeuzeformaten.

De auteurs identificeren een kritieke grounding gap (verankeringskloof) in plaats van een kennisgat. Bestaande end-to-end Video-Language Models (VLM's) presteren nabij het niveau van toeval (~50%), omdat ze video behandelen als een "zak met frames", wat een single-frame bias vertoont die voorkomt dat ze acties betrouwbaar op een tijdlijn kunnen lokaliseren. De kernuitdaging is niet het begrijpen van taal of het herkennen van objecten, maar het nauwkeurig mappen van acties aan temporele intervallen.

Methodologie: De TLG-pipeline

De voorgestelde oplossing, TLG (Temporal-Logic Grounding), is een drielaags systeem dat ontworpen is om deterministische logica prioriteit te geven boven neurale perceptie. Het werkt op de observatie dat TimeLogic-vragen deterministische functies zijn van de publieke temporele annotaties uit de brondatasets.

Niveau 1: Symbolische Reconstructie en Executie

Annotatie-reconstructie: Voor elke video reconstrueert TLG een actietijdlijn $T_v = \{(a_i, s_i, e_i)\}$ $T_{v} = {(a_{i}, s_{i}, e_{i})}$ door de video-ID te mappen aan de publieke annotaties van de brondataset.
- CrossTask: Gebruikt stap-grens annotaties (100% dekking).
- Breakfast: Maakt gebruik van 178-klasse fijne segmentatie (bijv. "reiken naar mes") in plaats van grove 48-klasse labels.
- STAR/AGQA: Voegt Charades actiesegmenten samen met Action Genome staat-relaties en afgeleide situation-graph codes.
Fuzzy Grounding: Een matching-module handelt discrepanties af tussen de formulering van vragen (bijv. gerunds) en annotatie-labels (bijv. imperatieven) met behulp van token-Jaccard gelijkenis en werkwoord-bewuste straffen. Samengestelde labels worden gesplitst op basis van camel-case en cijfers.
Symbolische Executie: Vragen worden geparsed naar temporele-logische programma's. Het systeem voert deze programma's deterministisch uit met behulp van interval-arithmetica. Als de benoemde acties niet in de annotaties worden gevonden, onthoudt Niveau 1 zich van een antwoord (abstains).

Niveau 2: Open VLM Fallback

Voor vragen waarbij Niveau 1 zich onthoudt (vanwege ontbrekende annotaties), valt het systeem terug op een sterk open-source VLM (Qwen2.5-VL-32B). Dit model gebruikt FPS-stijl frame-sampling en temporele redeneer-prompts. Het dient als de werkpaard voor de ~43% van de vragen die niet door annotaties worden gedekt.

Niveau 3: Categorie-gericht Frontier Reasoning

De auteurs hebben de prestaties van de VLM per categorie empirisch gemeten en vonden deze zwak op meerkeuzevragen (MC) (19–57% nauwkeurigheid) maar sterk op boolean vragen (73–79% nauwkeurigheid).

Routing Strategie: In plaats van alle fallback-vragen naar een groter model te sturen, routeert TLG alleen de onthouden meerkeuzevragen (en zwakke boolean/UNTIL categorieën) naar een frontier reasoning model (Gemini-3.1-Pro).
Kostenbeheersing: Deze laag maakt gebruik van een lage media-resolutie (256 tokens/afbeelding) en een laag denkbudget, wat ongeveer $10 kost voor de gehele testset.

Belangrijkste Bijdragen

TLG Systeem: Een drielaagse architectuur die video's mapt naar bron-annotaties voor exacte symbolische oplossing, waarbij neurale modellen alleen als gerichte fallback worden gebruikt.
Categorie-gerichte Routing: Een strategie die de zwaktes van de VLM (MC-vragen) isoleert en deze naar een frontier model verplaatst, terwijl sterke categorieën (boolean) op de lokale, goedkopere VLM blijven.
Ablatie op Grounding vs. Schaal: Uitgebreide experimenten tonen aan dat echte annotaties de primaire drijfveer zijn voor nauwkeurigheid, terwijl het vergroten van de model schaal of het proberen van model-gebaseerde tijdlijn-reconstructie verminderde meeropbrengsten of falen oplevert.
Prestaties: Het bereiken van een testnauwkeurigheid van 71,37%, een absolute winst van +24,5 ten opzien van de VLM-baseline, waarmee het systeem binnen 3 punten van de top van de leaderboard komt.

Experimentele Resultaten

Baseline vs. TLG: Een holistische VLM-baseline (Qwen3-VL-8B) behaalt 46,9%. Het volledige TLG-systeem bereikt 71,37%.
Component Analyse:
- Symbolische Reconstructie: Het toevoegen van symbolische logica van CrossTask, Action Genome en Breakfast fine-grained annotaties verbetert de nauwkeurigheid stapsgewijs. De Breakfast fine-grained annotaties alleen zorgden voor een sprong van +6,2 punten, terwijl grove labels slechts ~0 bijdroegen.
- Model Schaal: Het upgraden van de basis VLM van 8B naar 32B verbeterde het hybride systeem slechts met +2,6 punten. Grotere modellen (72B/78B) leden onder geheugenproblemen of degeneratieve outputs.
- Model-gebaseerde Reconstructie Falen: Pogingen om een VLM de tijdlijn te laten reconstrueren voor onthouden vragen (in plaats van het opzoeken van annotaties) resulteerden in een lagere nauwkeurigheid (67,10%) dan simpelweg de VLM holistisch laten antwoorden (67,37%). Dit bevestigt dat temporele grounding een onreduceerbare bottleneck is die annotaties vereist, niet alleen grotere modellen.
- Targeted Frontier: Het routeren van alleen de zwakke MC-categorieën naar Gemini-3.1-Pro voegde een laatste +4,0 punten toe.

Betekenis en Claims

Het artikel claimt dat temporele-logische VideoQA moet worden geherformuleerd van een perceptieprobleem naar een annotatie-reconstructieprobleem.

Grounding is Onreduceerbaar: De auteurs concluderen dat temporele grounding niet geleerd kan worden door het schalen van modellen of het reconstrueren van tijdlijnen via neurale netwerken; het hangt fundamenteel af van de beschikbaarheid van ground-truth temporele annotaties.
Dominantie van Annotatie: De resultaten tonen aan dat "echte annotaties — en niet grotere modellen — de nauwkeurigheid drijven." De grootste prestatiewinsten kwamen voort uit het toegang krijgen tot fine-grained bron-annotaties (Breakfast) en precieze categorie-routing, niet uit de modelgrootte.
Efficiëntie: Het systeem bereikt bijna state-of-the-art prestaties met minimale kosten (~$10 voor API-aanroepen), wat aantoont dat een hybride symbolisch-neurale aanpak effectiever is dan pure end-to-end training voor deze specifieke redeneertaak.

De resterende kloof tot de top van de leaderboard (74,47%) wordt toegeschreven aan een annotatie-access gap, waarbij ongeveer 220 vragen verwijzen naar acties die niet aanwezig zijn in enig publiek bronbestand, waardoor het systeem gedwongen wordt te vertrouwen op modellen die niet betrouwbaar tijd kunnen gronden.