Technische Samenvatting: FATE – Pillar Encoding en Frequency-Aware Training voor Event-gebaseerde Objectdetectie

Probleemstelling

Event-camera's bieden aanzienlijke voordelen voor toepassingen met hoge snelheid en een hoog dynamisch bereik vanwege hun asynchrone, logaritmische intensiteitsregistratiemechanisme. Echter, hun ijle (sparse) en onregelmatige aard creëert een fundamentele incompatibiliteit met moderne deep learning-architecturen (bijv. CNN's, Transformers) die dichte, roostergestructureerde inputs vereisen.

Bestaande oplossingen verdelen de accumulatiewestijn doorgaans in vaste temporele sub-bins (voxel grids of gestapelde histogrammen) om dichte representaties te creëren. Hoewel dit het gebruik van standaard backbones mogelijk maakt, introduceert het twee kritieke beperkingen:

1. Verlies van Temporele Structuur: Rigide sub-binning verwerpt fijne temporele dynamiek binnen de vensterperiode, waardoor asynchrone events effectief als discrete frames worden behandeld.
2. Frequentie-mismatch: Deze methoden beperken de inferentie impliciet tot de lage temporele frequenties die tijdens de training worden gebruikt (bijv. 20 Hz). Wanneer deze worden toegepast op hogere frequenties (bijv. 200 Hz) met kortere accumulatiewestijnen, treedt er een significante prestatievermindering op door extreme ijleheid en het onvermogen om continue temporele evolutie te modelleren.

Bovendien bieden event-gebaseerde datasets doorgaans alleen annotaties bij lage frequenties, wat een kloof creëert tussen de lage-frequentie supervisie die beschikbaar is tijdens de training en de hoge-frequentie inferentie die nodig is voor robuuste prestaties in de echte wereld.

Methodologie

De auteurs stellen FATE (Frequency-Aware Training met Pillar Encoding) voor, een verenigd framework dat zowel de representatie- als de supervisiemismatch aanpakt.

1. Pillar Encoding (PE)

PE vervangt rigide temporele sub-binning door een continuous-time modelleringsbenadering.

• Ruimtelijke Discretisatie: Het ruimtelijke domein wordt verdeeld in een rooster van "pillars" (geïnspireerd door PointPillars). Events worden gegroepeerd in deze ruimtelijke kolommen.
• Continuous-Time Approximatie: In plaats van events temporeel te binnen, modelleert PE de evolutie van event-features binnen elke pillar als een continuous-time signaal.
• Orthogonale Polinomiale Projectie: Asynchrone event-features binnen een pillar worden geprojecteerd op een afgekorte set orthogonale Legendre-polynomen. Dit levert een compacte set coëfficiënten op die de temporele dynamiek coderen.
  • Theoretische Garantie: Deze formulering biedt een $L_2$-optimale benadering van het onderliggende continuous-time signaal binnen de polynomiale subspace, waardoor de reconstructiefout wordt geminimaliseerd.
  • Numerieke Integratie: Om niet-uniforme event-timestamps te verwerken, gebruikt de methode een trapeziumregel met dichtheidsbewuste gewichten. Dit voorkomt dat bursts van hoge event-dichtheid de integraal beïnvloeden, wat zorgt voor een onbevoordeelde schatting van de temporele trajectorie.
• Output: Het resultaat is een dichte pseudo-image die compatibel is met standaard architecturen, waarbij rijke temporele dynamiek behouden blijft zonder interne temporele discretisatie.

2. Frequency-Aware Training (FAT)

Om de schaarste aan high-frequency annotaties aan te pakken, gebruikt FAT een soft mean-teacher curriculum.

• Generatie van Dense Pseudo-labels: Een detector die is uitgebreid met PE wordt eerst getraind op canonieke low-frequency labels. Vervolgens genereert deze dichte, frequentiespecifieke annotaties bij hogere target-frequenties (tot 200 Hz) met behulp van een tracking-by-detection aanpak. Dit houdt in dat er inferentie wordt gedraaid op geïnterpoleerde timestamps en detecties over de tijd worden geassocieerd om continue trajectorieën te creëren.
• Soft Mean-Teacher Curriculum:
  • Teacher: Werkt op canonieke frequentie-inputs ($f_c$) en genereert soft pseudo-labels.
  • Student: Wordt getraind op inputs bij variërende frequenties ($f$), waarbij de frequentie geleidelijk verschuift van laag naar hoog via een lineair curriculum-schema.
  • Loss: De student wordt geoptimaliseerd met een combinatie van ground-truth labels, geïnterpoleerde labels en consistentie-losses (KL-divergentie voor classificatie, $L_1$ voor lokalisatie) ten opzichte van de voorspellingen van de teacher. Dit overbrugt de train-test frequentie-mismatch zonder dat er handmatige high-frequency annotaties nodig zijn.

Belangrijkste Bijdragen

1. Pillar Encoding (PE): Een nieuwe event-representatie die de voordelen heeft van het vermijden van interne temporele sub-binning door intra-window dynamiek te modelleren als continuous-time functies via orthogonale polynomiale projecties. Het biedt een $L_2$-optimale benadering die fijne temporele structuur behoudt onder ijle condities.
2. Frequency-Aware Training (FAT): Een trainingsstrategie die gebruikmaakt van temporeel dichte pseudo-labels en een mean-teacher curriculum om de mismatch tussen low-frequency supervisie en high-frequency inferentie te mitigeren, wat robuuste prestaties mogelijk maakt zonder extra handmatige annotatie.
3. Robuuste Empirische Prestaties: FATE vertoont consistente verbeteringen ten opzichte van sterke baselines over meerdere architecturale paradigma's (CNN, RNN, Transformer, State-Space).

Experimentele Resultaten

Het framework is geëvalueerd op de Gen1 en 1Mpx event-gebaseerde objectdetectie-benchmarks over frequenties variërend van 20 Hz tot 200 Hz.

• Prestatiewinst: FATE presteert consequent beter dan state-of-the-art baselines (RVT, GET, S5-ViT, EvRT-DETR).
  • Bij 200 Hz op de Gen1 dataset bereikt FATE-E (FATE + EvRT-DETR) 42.38 mAP, waarmee het de sterkste high-frequency baseline (S5-ViT-B) met +2.54 mAP overtreft.
  • Bij 20 Hz bereikt FATE-E 53.14 mAP, een verbetering van +0.44 mAP ten opzichte van de baseline EvRT-DETR-B.
• Generalisatie: De voordelen van FATE generaliseren over verschillende backbone-architecturen (S5-ViT en EvRT-DETR), wat aangeeft dat de verbeteringen voortkomen uit de representatie- en trainingsstrategie in plaats van een specifieke detector-design.
• Efficiëntie: De methode brengt minimale overhead met zich mee, voegt minder dan 0.15M parameters toe en verhoogt de end-to-end inferentie-latentie met slechts ~1% (ongeveer 0.1 ms).
• Ablatie-studies: Experimenten bevestigen dat zowel PE als FAT cruciaal zijn. PE alleen verbetert de high-frequency prestaties door de temporele dynamiek te behouden, terwijl FAT de prestaties verder verhoogt door de supervisie-mismatch te corrigeren.

Betekenis en Claims

Het artikel claimt dat FATE een fundamentele beperking in event-gebaseerde objectdetectie aanpakt: de degradatie van prestaties bij hoge werkfrequenties veroorzaakt door event-ijleheid en rigide temporele discretisatie.

• Continuous-Time Modellering: Door over te stappen van discrete binning naar continuous-time polynomiale benadering, behoudt FATE de fijne temporele dynamiek die anders verloren gaat in korte accumulatiewestijnen.
• Supervisie Alignement: De Frequency-Aware Training strategie stemt de training-supervisie effectief af op de high-frequency inferentie-eisen, waardoor modellen kunnen generaliseren naar temporele resoluties tot 200 Hz.
• Praktische Leefbaarheid: Het framework behaalt deze winsten met verwaarloosbare computationele kosten, wat het een praktische oplossing maakt voor real-time, hoge-snelheidstoepassingen zoals autonoom rijden en robotica, waar bewegingsonscherpte en snelle veranderingen veel voorkomen.

De auteurs concluderen dat robuuste temporele schaling in event-gebaseerde perceptie zowel continue representaties als frequentie-afgestemde supervisie vereist, een dubbele eis die FATE vervult.