Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

Stel je voor dat je in een lange, drukke vergadering zit waar stemmen door elkaar heen gaan, mensen elkaar onderbreken en het gesprek verschuift van een budgetdiscussie naar een plotselinge uitbarsting van frustratie. Als je later gevraagd zou worden om precies uit te leggen waarom een specifiek persoon op het negentiende minuut haar stem verhief, of om te traceren hoe een besluit aan het begin van het uur een klacht twintig minuten later heeft beïnvloed, dan zou je meer vertrouwen dan alleen de gesproken woorden. Je zou de toon, het volume, de pauzes en de manier waarop het gesprek van de ene persoon naar de andere stroomde, onthouden. Decennialang hebben computers moeite gehad om hetzelfde te doen. Hoewel machines uitstekend zijn geworden in het omzetten van spraak naar tekst, falen ze vaak in het begrijpen van de volledige context van lange, complexe gesprekken. Ze hebben de neiging om een vergadering te behandelen als een platte lijst van zinnen, waarbij de cruciale details van wie wat zei, wanneer het werd gezegd en hoe het werd gezegd, verloren gaan. Deze beperking vormt een grote hindernis bij het beantwoorden van vragen over urenlange opnames, waarbij het antwoord op een simpele vraag diep verborgen kan liggen in een web van interacties die de gehele duur beslaan.

Onderzoekers aan de Soochow Universiteit in China hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen, waarbij ze een systeem hebben gecreëerd dat niet alleen naar audio luistert, maar ook actief plant hoe het het antwoord moet vinden. Ze begonnen met de erkenning dat bestaande kunstmatige intelligentiemodellen, die ontworpen zijn om spraak te verwerken, vaak waardevolle akoestische informatie zoals stemvolume en emotie weggooien ten gunste van de ruwe tekst. Bovendien hebben deze modellen moeite om details van het begin van een lange opname te onthouden wanneer ze een vraag over het einde van de opname proberen te beantwoorden. Om dit aan te pakken, heeft het team eerst een nieuwe dataset gebouwd genaamd LongAudioQA, die honderden vragen bevat over echte vergaderingen, variërend van eenvoudige feitelijke vragen tot complexe vragen die begrip vereisen voor de emotionele staat van een spreker of de logische verbinding tussen twee verre delen van een gesprek.

De kern van hun oplossing is een systeem dat ze een graafgebaseerde retrieval-generation agent noemen. In plaats van de volledige audiofile in één keer in een enkel model te voeren, breken de onderzoekers de vergadering eerst af in een gestructureerde kaart. In deze kaart wordt elke gesproken zin een knoop (node), en de verbindingen tussen hen worden getrokken op basis van wie spreekt, wanneer men spreekt en waar men over praat. Deze structuur stelt de computer in staat om de vergadering niet te zien als een stroom van woorden, maar als een netwerk van relaties. Wanneer een gebruiker een vraag stelt, zoekt het systeem niet simpelweg naar overeenkomende woorden. In plaats daarvan handelt het als een menselijke expert die zijn zoektocht plant. Het breekt de vraag af, bepaalt welke delen van de kaart verkend moeten worden en beweegt vervolgens stap voor stap door de verbindingen om bewijs te verzamelen.

Als de initiële zoektocht niet voldoende informatie biedt, heeft het systeem de mogelijkheid om te reflecteren op zijn eigen voortgang. Het kan beseffen dat het een puzzelstukje mist, zoals de specifieke toon van een stem of de context van een eerdere uitspraak, en vervolgens zijn zoektocht herplannen om naar dat ontbrekende stukje te zoeken. Deze cyclus van zoeken, verzamelen en reflecteren gaat door totdat het systeem er zeker van is dat het het juiste antwoord heeft gevonden. Deze methode stelt het systeem in staat om vragen te behandelen die het verbinden van punten door de tijd heen vereisen, zoals het identificeren van de reden waarom een spreker op een specifiek moment boos klonk door dat moment te koppelen aan een eerder gebroken belofte.

De resultaten van hun tests laten zien dat deze planning-gebaseerde aanpak aanzienlijk beter presteert dan huidige state-of-the-art modellen die vertrouwen op eenvoudige tekstzoekopdrachten of directe audioverwerking. In tests met vergaderingen die langer dan dertig minuten duurden, was het nieuwe systeem in staat om complexe vragen met veel hogere nauwkeurigheid te beantwoorden, met name wanneer de vragen begrip vereisten voor de emotionele toon van de sprekers of het volgen van de stroom van een gesprek over een lange periode. De onderzoekers ontdekten dat door expliciet de relaties tussen sprekers en tijd te modelleren, en door het systeem in staat te stellen zijn eigen zoekstrategie te plannen, zij het algemene probleem van "contextfragmentatie" konden overwinnen, waarbij belangrijke details verloren gaan omdat ze te ver uit elkaar liggen in de opname.

Dit werk suggereert dat computers, om echt menselijke gesprekken in lang formaat te begrijpen, meer nodig hebben dan alleen krachtige processors; ze hebben een manier nodig om informatie te organiseren die weerspiegelt hoe mensen van nature complexe sociale interacties navigeren. Door een vergadering te behandelen als een gestructureerde kaart en de computer de mogelijkheid te geven om over zijn zoekproces na te denken, hebben de onderzoekers een systeem gecreëerd dat een vergadering kan beluisteren, de relaties daarin kan begrijpen en antwoorden kan geven die geworteld zijn in het werkelijke bewijs van de opname. Hoewel het systeem nog steeds uitdagingen kent bij extreem lawaaierige opnames, vormt het vermogen om te plannen en te reflecteren een belangrijke stap voorwaarts in het maken van kunstmatige intelligentie die in staat is de volledige diepgang van de menselijke dialoog te begrijpen.