Technische Samenvatting: CASTELLA – Lange Audio-dataset met Captions en Temporele Grenzen

1. Probleemstelling

Audio Moment Retrieval (AMR) is een taak die ontworpen is om specifieke segmenten ("momenten") binnen lange audio-opnames te lokaliseren die overeenkomen met een gegeven tekstuele query. Terwijl Sound Event Detection (SED) zich richt op korte fragmenten (meestal ~10 seconden) en grofmazige klassen, behandelt AMR langdurige audio (minutenlang) en complexe, vrij vormgegeven tekstuele queries.

Ondanks het potentieel van AMR voor toepassingen zoals het doorzoeken van breedcasterende inhoud of het analyseren van camerabeelden, kampt het vakgebied met een gebrek aan een robuuste, grootschalige benchmark die gebruikmaakt van real-world data. Voorgaand onderzoek, zoals de initiële AMR-studie door [6], vertrouwde zwaar op synthetische datasets (geconstrueerd door geluiden over achtergrondruis te leggen) en evalueerde modellen op minder dan 100 handmatig geannoteerde samples. Deze afhankelijkheid van synthetische data en kleinschalige evaluatie heeft geleid tot onbetrouwbare prestatiemetingen en een onduidelijk begrip van hoe modellen presteren in real-world omgevingen. Bestaande audio-datasets missen ofwel temporele grenzen, ofwel vrije tekstuele captions, of bestaan uit audiofragmenten die te kort zijn om als "lange audio" beschouwd te worden.

2. Methodologie en Datasetconstructie (CASTELLA)

Om deze tekortkomingen aan te pakken, introduceren de auteurs CASTELLA (CAptionS and TEmporaL boundaries for Long Audio), een grootschalige, door mensen geannoteerde dataset.

Kenmerken van de dataset

• Schaal: CASTELLA bevat 1.862 audio-opnames (1.009 voor training, 213 voor validatie, 640 voor testen), wat in totaal meer dan 120 uur aan audio is. Dit is ongeveer 24 keer groter dan de vorige handmatig geannoteerde AMR-dataset (UnAV-100 subset).
• Inhoud: De audio is afkomstig van YouTube (specifiek een subset van de AudioCaps split) en varieert in lengte van 1 tot 5 minuten.
• Annotaties: Elke opname bevat:
  • Globale Captions: Een samenvatting van de gehele audio-opname.
  • Lokale Captions: Vrij vormgegeven beschrijvingen van opvallende audio-momenten.
  • Temporele Grenzen: Start- en eindtijdstempels voor elk lokaal moment.
• Statistieken: De dataset bevat 3.881 lokale captions en 11.308 tijdstempels. De gemiddelde audio bevat 2,1 lokale momenten en de gemiddelde duur van een moment is kort, met een distributie die sterk scheefgetrokken is naar kortere segmenten (long-tail distributie).

Annotatieprocedure

De dataset werd opgebouwd met behulp van een crowdsourcing-service via een rigoureus meerstaps proces:

1. Selectie: Annotatoren identificeerden tot vijf opvallende lokale momenten, waarbij niet-lokale gebeurtenissen die de gehele opname beslaan werden vermeden.
2. Captioning: Annotatoren beschreven momenten in detail zonder gebruik te maken van visuele informatie (hoewel zij aanvankelijk video's bekeken om momenten te identificeren). Globale captions werden gegenereerd als samenvattingen van lokale captions.
3. Vertaling: De initiële annotaties waren in het Japans en werden vertaald naar het Engels door ervaren vertalers, waarbij machinevertaling (LLM's) waar passend werd gebruikt als basis.
4. Toewijzing van grenzen: Temporele grenzen werden gemarkeerd met een resolutie van 1 seconde. Annotatoren kregen de instructie om bereiken op te nemen die het beschreven moment vastleggen, zelfs als deze licht overlapten met niet-relevante inhoud.
5. Kwaliteitscontrole: Een tweede annotator controleerde de resultaten. Cruciaal is dat de auteurs een laatste handmatige controle uitvoerden door alleen naar de audio te luisteren (zonder video) om captions te verwijderen die niet enkel op geluid geverifieerd konden worden en om fouten in de grenzen te corrigeren, om er zeker van te zijn dat de dataset de audio-only retrieval capaciteiten weerspiegelt.

3. Experimentele Opzet en Baselines

De auteurs hebben een baseline voor AMR vastgesteld met behulp van de AM-DETR architectuur, die een audio-tekstmodel (MS-CLAP) combineert met een Detection Transformer (DETR).

• Trainingsstrategieën:
  • Alleen trainen op de synthetische Clotho-Moment dataset.
  • Alleen trainen op de real-world CASTELLA dataset.
  • Pre-training op Clotho-Moment gevolgd door fine-tuning op CASTELLA.
• Geteste Modellen: De studie evalueerde QD-DETR, Moment-DETR en UVCOM (een geavanceerde architectuur) op de CASTELLA benchmark.
• Metrieken: Prestaties werden gemeten met behulp van Recall@1 (R1) bij IoU-drempels van 0,5 en 0,7, en Mean Average Precision (mAP).

4. Belangrijkste Resultaten

De experimenten leverden drie primaire inzichten op:

1. Effectiviteit van Hybride Training: De belangrijkste bevinding is dat een model dat voorgetraind is op synthetische data (Clotho-Moment) en vervolgens is gefinetuned op CASTELLA aanzienlijk beter presteert dan modellen die op slechts één van beide datasets zijn getraind.
   • Wat betre betreft Recall@1@0.7 behaalde de hybride aanpak een score van 16,2, vergeleken met 5,8 voor het model met alleen synthetische data en 9,7 voor het model met alleen real-world data. Dit vertegenwoordigt een verbetering van 10,4 punten ten opzichte van de synthetische baseline.
2. Architectuurtrends: De prestatietrends over verschillende DETR-gebaseerde architecturen in AMR weerspiegelden die waargenomen bij Video Moment Retrieval (VMR). Specifiek behaalde UVCOM de beste prestaties (20,3 R1@0,7), terwijl Moment-DETR het slechtst presteerde.
3. Uitdaging van Korte Momenten: De prestaties dalen aanzienlijk voor ground-truth momenten die korter zijn dan 10 seconden. Dit komt overeen met uitdagingen gezien in VMR, maar is acuter in AMR, aangezien de CASTELLA-dataset een hoge frequentie van korte duur events vertoont.

5. Betekenis en Claims

Het artikel positioneert CASTELLA als een noodzakelijke stap naar betrouwbare AMR-evaluatie en -ontwikkeling.

• Betrouwbaarheid van de Benchmark: Door een grootschalige, real-world dataset te bieden, adresseert CASTELLA de onbetrouwbaarheid van eerdere evaluaties gebaseerd op <100 samples en synthetische data.
• Validatie van Trainingsstrategie: De resultaten tonen aan dat hoewel synthetische data nuttig is voor pre-training, fine-tuning op real-world data cruciaal is voor het behalen van hoge prestaties in praktische AMR-toepassingen.
• Fundament voor Toekomstig Werk: De auteurs stellen dat CASTELLA de vaststelling van baselines mogelijk maakt en toekomstig onderzoek ondersteunt naar simultane lokalisatie en captioning van gebeurtenissen, evenals retrieval over collecties van lange audio-opnames.

De auteurs concluderen dat CASTELLA publiekelijk beschikbaar is om verder onderzoek naar audio moment retrieval te faciliteren, waarmee het vakgebied wordt bewogen van synthetische beperkingen naar real-world toepasbaarheid.