💻 computer science

MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts

Dit artikel introduceert MoAKE, een nieuw Mixture of Action Knowledge Experts-framework dat Action Quality Assessment voor diverse actietypes binnen één enkel model verenigt door segment-bewuste expertkennis dynamisch te aggregeren en multi-granulaire temporele dynamiek te modelleren, waardoor de beperkingen van traditionele one-by-one paradigma's worden overwonnen en superieure prestaties worden behaald in all-in-one, zero-shot en few-shot scenario's.

Oorspronkelijke auteurs: Huangbiao Xu, Huanqi Wu, Xiao Ke, Jiaxin Cai, Junyi Wu, Jinglin Xu

Gepubliceerd 2026-07-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huangbiao Xu, Huanqi Wu, Xiao Ke, Jiaxin Cai, Junyi Wu, Jinglin Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechter bent bij een enorme, chaotische talentenjacht waar de acts variëren van Olympische gymnastiek tot hersenchirurgie en diepzeeduiken. In de oude dagen, als je een gymnast wilde beoordelen, huurde je een gymnastiekexpert in; voor een duiker een duikexpert; en voor een chirurg een medisch professional. Je had voor elke afzonderlijke act een andere rechter nodig omdat de regels, de bewegingen en het "goede" uiterlijk totaal anders waren. Dit is hoe computers vroeger videofuncties beoordeelden: ze hadden voor elke type beweging een aparte, gespecialiseerde hersenpan nodig. Maar wat als je één enkele, superintelligente rechter wilde die elke video kon bekijken—of het nu een kunstschaatser is die ronddraait of een duiker die een salto maakt—en een eerlijke score kon geven zonder vooraf te hoeven weten wat de act is? Dat is de droom van "Action Quality Assessment" (AQA). Het is het vakgebied van het leren aan computers om naar video's te kijken en te zeggen: "Dat was een 9,5 van de 10," precies zoals een menselijke expert dat zou doen. Het grote probleem is dat het mengen van deze verschillende vaardigheden de computer meestal in de war brengt, waardoor hij overal slechter in wordt, alsof je probeert een vis te leren vliegen en een vogel te leren zwemmen op hetzelfde moment.

Maak kennis met MoAKE, een nieuw framework dat fungeert als een "Mixture of Action Knowledge Experts". In plaats van één gigantisch brein te dwingen om alles tegelijk te leren, bouwt MoAKE een team van gespecialiseerde experts die samenwerken in een gedeeld kantoor. Stel je een panel van juryleden voor waarbij elke een meester is van een specifieke stijl—bijvoorbeeld, de een houdt van ritmische gymnastiek, een ander kent kunstschaatsen en een derde begrijpt artistiek zwemmen. Wanneer er een video binnenkomt, kijkt een slimme "router" (denk aan een snel denkende stage manager) naar de video en beslist welke experts hun zegje moeten doen. Als er een gymnast in beeld is, spreekt de gymnastiekexpert luidruchtig, terwijl de anderen stilzwijgend luisteren. Maar hier is de magie: ze werken niet alleen alleen. Ze delen hun aantekeningen in een gemeenschappelijke taal, waardoor ze elkaar helpen de nuances van beweging te begrijpen. Dit stelt het systeem in staat om een chaotische mix van verschillende acties te verwerken zonder in de war te raken, waardoor de "ruis" van verschillende sporten wordt omgezet in een behulpzaam koor van kennis.

De onderzoekers ontdekten dat deze aanpak ongelooflijk goed werkt. Toen ze hun "all-in-one" model testten op drie langetermijn-sportdatasets (ritmische gymnastiek, kunstschaatsen en artistiek zwemmen), evenaarde het niet alleen de oude "één-rechter-per-sport"-methoden; het versloeg ze zelfs. Sterker nog, het nieuwe model verbeterde de nauwkeurigheid van de rangschikkingen met ongeveer 4,7% op gemiddelde basis en verminderde de scorefouten met een enorme 34,4% vergeleken met het proberen te dwingen van een enkel model om alles zonder dit expertenteam te leren. Nog indrukwekkender is dat toen ze het model in het diepe water gooiden met volledig nieuwe, ongeziene acties zoals duiken, skiën en chirurgie (een test genaamd "zero-shot"), het niet crashte. Het slaagde erin om redelijke scores te geven zonder die specifieke video's ooit eerder te hebben gezien, wat bewees dat de experts algemene regels van beweging hebben geleerd die van toepassing zijn over verschillende werelden heen.

Het geheime ingrediënt ligt in hoe MoAKE omgaat met de rommelige details van de tijd. Video's zijn niet allemaal even lang; een gymnastiekroutine kan twee minuten duren, terwijl een clip van een operatie tien minuten kan duren. MoAKE gebruikt een slimme truc genaamd "Segment-Aware Temporal Aggregation" om deze video's in hanteerbare, standaardformaat stukjes te hakken, zoals het snijden van een lange film in korte, gelijke scènes, zodat de experts ze eerlijk kunnen vergelijken. Vervolgens gebruikt het een speciale module genaamd AIISRM (Adaptive Intra- and Inter-Segment Relationship Modeling) om te bestuderen hoe die scènes met elkaar verbonden zijn. Het kijkt naar wat er binnen een enkele scène gebeurt (zoals de armpositie van een schaatser) en hoe scènes met elkaar verbonden zijn (zoals de flow van een sprong naar een landing). Door deze relaties op verschillende niveaus van detail te modelleren, kunnen de experts kleine foutjes opmerken die een simpeler model zou missen.

Het paper sluit expliciet de mogelijkheid uit dat je simpelweg een bestaand computermodel kunt nemen en dit tegelijkertijd op al deze verschillende sporten kunt trainen zonder speciale hulp. De auteurs toonden aan dat het "naief" doen van dit proces leidt tot "negatieve transfer", waarbij de kennis van de ene sport de prestaties op een andere sport daadwerkelijk schaadt, wat zorgt voor een aanzienlijke daling in de scores (een gemiddelde daling van meer dan 10% in sommige tests). Ze argumenteren ook tegen het idee dat je een apart model nodig hebt voor elke afzonderlijke type actie, door aan te tonen dat deze "één-voor-één"-aanpak te rigide en te duur is voor echt wereldgebruik waarbij je mogelijk duizenden verschillende video's hebt.

Kortom, MoAKE suggereert dat de beste manier om een chaotische mix van acties te beoordelen niet is om een groter, dommer brein te bouwen, maar om een slimmer team van specialisten te bouwen die weten hoe ze met elkaar moeten communiceren. De resultaten, gemeten op zes verschillende datasets, laten zien dat deze teamaanpak niet alleen het probleem van het mengen van verschillende sporten oplost, maar ook een systeem creëert dat verrassend goed is in het raden van nieuwe, ongeziene acties. Het is een stap naar een toekomst waar één enkele AI elke arena kan binnenlopen, elke uitvoering kan bekijken en een eerlijke, deskundige score kan geven, ongeacht de act.

Technische Samenvatting: MoAKE – Naar een Verenigde All-in-One Action Quality Assessment

1. Probleemstelling

Action Quality Assessment (AQA) beoogt de kwaliteit van prestaties uit actievideo's objectief te evalueren door een mapping te leren van bewegingssemantiek naar door experts verstrekte scores. Hoewel recente ontwikkelingen de prestaties in specifieke domeinen (bijv. sport, medische revalidatie) hebben verbeterd, volgen bestaande methoden voornamelijk een "één-voor-één"-paradigma. In deze setting wordt een apart model getraind en ingezet voor elk specifiek type actie.

Deze fragmentatie creëert aanzienlijke barrières voor implementatie in de echte wereld:

Afhankelijkheid van Priors: Het vereist betrouwbare metadata (bekende actietypes) om het juiste model te selecteren, wat vaak niet beschikbaar is op open-domein platforms.
Gebrek aan Generalisatie: Het belemmert content-agnostische diensten die heterogene of gemengde acties moeten verwerken zonder handmatige interventie.
Resource-intensiviteit: Het onderhouden van hoogwaardige modellen voor elke nieuwe of zeldzame actie is data- en rekenintensief.

Het artikel identificeert de kernuitdaging bij de overgang naar een "All-in-One" AQA-paradigma (een enkel verenigd model voor heterogene acties) als de substantiële semantische discrepanties tussen verschillende actietypes. Het naïef trainen van een enkel model op diverse acties leidt vaak tot "negatieve transfer," waarbij conflicterende actiepatronen elkaar verstoren, wat leidt tot een significante degradatie van de prestaties (geobserveerd als een gemiddelde daling van de Spearman's Rank Correlation Coefficient (SRCC) van ~10% in baseline-experimenten).

2. Methodologie: MoAKE Framework

Om negatieve transfer aan te pakken terwijl complementaire kennis over domeinen heen wordt benut, stellen de auteurs MoAKE (Mixture of Action Knowledge Experts) voor. Het framework is ontworpen om kennis van meerdere gespecialiseerde experts binnen een gedeelde semantische ruimte dynamisch te fuseren.

2.1 Overzicht en Soft Routing

In tegenstelling tot traditionele Mixture-of-Experts (MoE) ontwerpen die vaak vertrouwen op token-niveau sparse routing voor parameter-schaling, opereert MoAKE op het macro-actieniveau met een lichtgewicht ontwerp.

Input: Visuele kenmerken $X$ worden geëxtraheerd uit video-snippets.
Soft Router: Een lichtgewicht router $R(\cdot)$ berekent dynamisch een set gewichten $\{w_k\}$ op basis van de input-kenmerken. In tegenstelling tot harde routing, past dit soft routing mechanisme adaptief complementaire kennis samen te voegen, waardoor de semantische kloof wordt getransformeerd in positieve transfer.
Feature Fusion: De uiteindelijke gemengde feature $F_{mix}$ is een gewogen som van de outputs van $K$ verschillende experts: $F_{mix} = \sum w_k F_k$ .

2.2 Action Knowledge Experts

Elke expert $E_k$ is specifiek ontworpen om de unieke temporele eisen van AQA aan te pakken, wat verschilt van standaard feed-forward MoE experts.

Shared Adapter: Kenmerken worden geprojecteerd in een gedeelde semantische ruimte met behulp van een gedeelde Multi-Layer Perceptron (MLP) om een "gemeenschappelijke taal" voor actiekwaliteit te stimuleren.
Segment-Aware Temporal Aggregation (SATA): Om variabele lengtes van actievideo's te verwerken, gebruikt elke expert leerbare, segment-bewuste prototypes ( $P_k$ ). Met behulp van een Q-Former-stijl cross-attention mechanisme distilleren deze prototypes variabel-lengte inputs naar fixed-length representaties ( $N$ tokens), waardoor temporele variaties worden genormaliseerd.
Adaptive Intra- en Inter-Segment Relationship Modeling (AIISRM): Dit nieuwe module legt multi-granulariteit temporele dynamiek vast via drie parallelle takken:
- Intra-Segment Global: Modelleert globale correlaties langs de feature-dimensie (bijv. de evolutie van snelheid of houding) met behulp van self-attention.
- Inter-Segment Local: Gebruikt 1D-convoluties met kernel-groottes (1, 3, 5) om lokale temporele correlaties tussen sub-acties te modelleren, die dynamisch worden samengevoegd via attention-gewichten.
- Inter-Segment Global: Past self-attention toe om verre segmenten met elkaar te relateren, waardoor langetermijn-afhankelijkheden zoals algemeen ritme en coherentie worden gevangen.
- De outputs worden geaggregeerd met residual connections om onderscheidende kenmerken te behouden.

2.3 Score Predictie en Optimalisatie

Grade-Aware Decoder: De gemengde feature wordt verwerkt door een Transformer decoder met behulp van leerbare grade queries om grade-bewuste representaties te genereren, die via een MLP naar een definitieve score worden gemapt.
Loss Function: Het model wordt geoptimaliseerd met een composiete loss:
- $\mathcal{L}_{score}$ : MSE loss voor de definitieve score en hulp-scores (om expert-specialisatie te stimuleren).
- $\mathcal{L}_{route}$ : Soft cross-entropy loss met label smoothing om de router te sturen zonder strikte expert-isolatie af te dwingen.
- $\mathcal{L}_{div}$ : Een diversiteitsverlies (triplet loss) om ervoor te zorgen dat grade-representaties onderscheidende kwaliteitsniveaus vastleggen.

3. Benchmarks en Experimentele Opzet

De auteurs stellen uitgebreide benchmarks op om All-in-One en Zero/Few-shot AQA te evalueren:

All-in-One Training: Getraind op drie langetermijn-datasets: Ritmische Gymnastiek (RG), Kunstschaatsen (Fis-V) en Artistiek Zwemmen (LOGO).
Zero/Few-Shot Evaluatie: Geëvalueerd op drie kortetermijn-datasets: Duiken (MTL-AQA), Skiën/Snowboarden (AQA-7) en Chirurgie (JIGSAWS).
- Zero-shot: Directe evaluatie zonder parameter-updates.
- Few-shot: Volledige netwerk fine-tuning op 5-10% van de data.
Metrics: Spearman's Rank Correlation (SRCC) en Relatieve L2-afstand (R- $\ell_2$ ).

4. Belangrijkste Resultaten

Uitgebreide experimenten op zes datasets tonen de superioriteit van MoAKE aan:

All-in-One Prestaties: MoAKE presteert aanzienlijk beter dan bestaande state-of-the-art (SOTA) methoden (bijv. GDLT, HGCN, T²CR, PAMFN, CoFInAl, ASGTN) in de all-in-one setting. Opvallend genoeg bereikt het een gemiddelde SRCC van 0.753, waarmee het de sterke Conditional Baseline (0.718) overtreft en zelfs de SOTA-modellen die getraind zijn in het standaard "één-voor-één"-paradigma overtreft (een verbetering van gemiddelde SRCC met 1.2% en een vermindering van R- $\ell_2$ met 28.9%).
Generalisatie: In Zero-shot scenario's behaalt MoAKE een significant hogere SRCC (bijv. 0.319 op Duiken versus 0.207 voor de beste baseline) en lagere foutmarges, wat duidt op een robuuste generalisatie naar onbekende actietypes.
Efficiëntie: Ondanks de MoE-architectuur behoudt MoAKE praktische computationele kosten (8.01M parameters, 1.44G FLOPs), waardoor de enorme parameter-inflatie die typisch is voor grootschalige MoEs wordt vermeden.
Ablatie Studies: Het verwijderen van de soft router veroorzaakt een ernstige daling in prestaties (30% SRCC afname), wat de noodzaak van adaptieve mixing bevestigt. De AIISRM-module en het SATA-mechanisme blijken ook cruciaal voor het vastleggen van multi-granulair temporele dynamiek.

5. Betekenis en Claims

Het artikel claimt een nieuwe richting te pionieren in Action Quality Assessment door de beoordeling van meerdere actietypes binnen één verenigd framework mogelijk te maken.

Paradigmaverschuiving: Het beweegt weg van de gefragmenteerde "één-voor-één"-aanpak naar een schaalbare, content-agnostische "All-in-One" oplossing, die inspeelt op de praktische behoeften van open-domein platforms en scenario's met lage middelen.
Positieve Transfer: Het werk laat zien dat de uitdaging van semantische diversiteit kan worden getransformeerd in een kans voor positieve kennisoverdracht via de Mixture of Action Knowledge Experts, waardoor negatieve transfer effectief wordt gemitigeerd.
Fundamentele Representatie: Het voorgestelde framework biedt een superieure fundamentele representatie voor downstream adaptatie, wat sterke prestaties mogelijk maakt in zero-shot en few-shot settings waar voorheen falende methoden tekortschieten.
Community Resource: Door de eerste uitgebreide benchmarks voor All-in-One en Zero/Few-shot AQA op te stellen, beogen de auteurs toekomstig onderzoek in dit onderbelichte gebied te faciliteren.

De auteurs concluderen dat hoewel de methode superieure resultaten laat zien, het zero-shot scenario nog steeds uitdagend blijft, en toekomstig werk zelfgesuperviseerd leren of multimodale integratie kan verkennen om de generalisatie verder te verbeteren.