🤖 machine learning

Sound-based Multi-Person 3D Pose Estimation

Dit artikel introduceert SoundMHPE, het eerste framework voor het schatten van 3D-poses van meerdere personen uitsluitend op basis van akoestische signalen door gebruik te maken van een nieuwe encoder-decoderarchitectuur om uitdagingen zoals signalsuperpositie en reflecties te overwinnen, gevalideerd op een nieuw geconstrueerde, 6 uur durende gesynchroniseerde dataset.

Oorspronkelijke auteurs: Yusuke Oumi, Yuto Shibata, Go Irie, Akisato Kimura, Yoshimitsu Aoki, Mariko Isogawa

Gepubliceerd 2026-09-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yusuke Oumi, Yuto Shibata, Go Irie, Akisato Kimura, Yoshimitsu Aoki, Mariko Isogawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Decennialang hebben wetenschappers gezocht naar manieren om het onzichtbare te zien, waarbij ze technologieën ontwikkelden die menselijke bewegingen kunnen volgen zonder afhankelijk te zijn van het menselijk oog. Camera's, die afhankelijk zijn van licht, falen in het donker of wanneer een persoon achter een muur verborgen is. Radiogolven, die in sommige sensorsystemen worden gebruikt, hebben moeite wanneer ze water of metaal tegenkomen. In deze complexe, reële scenario's is een ander soort signaal opgekomen als een veelbelovend alternatief: geluid. Door actief een geluidspuls uit te zenden en aandachtig te luisteren naar hoe deze terugkaatst, kunnen onderzoekers de vorm en positie van objecten in een kamer in kaart brengen. Deze techniek, bekend als actieve akoestische sensing, heeft al aangetoond dat het de houding van een enkel persoon kan bepalen, zelfs wanneer deze wordt geblokkeerd. Er bleef echter een aanzienlijke kloof bestaan in dit veld. Terwijl een enkele stem of beweging een duidelijk echo creëert, produceert een kamer gevuld met meerdere mensen een chaotische mix van overlappende geluiden. Het ontwarren van deze signalen om te begrijpen waar elke persoon staat en hoe zij bewegen, werd als bijna onmogelijk beschouwd, omdat de echo's van de één ononderscheidbaar samensmelten met die van de ander.

Een team van onderzoekers van de Keio Universiteit, de Tokyo University of Science en NTT heeft nu de eerste stap gezet naar het oplossen van dit probleem. Ze hebben een systeem ontwikkeld dat in staat is om de driedimensionale poses van meerdere mensen te schatten met behulp van alleen geluid. De onderzoekers bouwden een aangepaste dataset om hun systeem te trainen, waarbij ze zes uur aan gesynchroniseerde audio- en bewegingsgegevens opnamen van maximaal drie mensen die tegelijkertijd in een kamer bewogen. De opstelling bestond uit een paar luidsprekers die een specifiek geluidssignaal uitzonden en een gespecialiseerde microfoon die in staat was om geluid uit alle richtingen op te vangen. Terwijl de deelnemers liepen, draaiden en hun armen omhoog brachten, registreerde het systeem de terugkerende echo's. De uitdaging was immens; de akoestische signalen waren een superpositie van vele verschillende bewegingen, wat verder werd gecompliceerd door de manier waarop geluid weerkaatst tegen lichamen en muren, wat vertragingen creëert die de directe link tussen een specifieke pose en een specifiek geluid vertroebelen.

Om deze complexiteit te navigeren, creëerde het team een nieuw framework dat ze SoundMHPE noemen. In plaats van te proberen het geluid als één enkele, rommelige blok te verwerken, breekt hun systeem het audiofragment af in meerdere lagen van detail. Het analyseert het geluid met behulp van verschillende tijdsvensters, waarbij het kijkt naar zowel snelle veranderingen die in een fractie van een seconde plaatsvinden als naar langzamere, fijnere details in de frequentie van het geluid. Dit stelt het systeem in staat om subtiele akoestische handtekeningen te isoleren die anders verloren zouden gaan in de ruis. Zodra het geluid is geanalyseerd, gebruikt het systeem een geavanceerde methode om de mensen te scheiden. Het wijst een specifieke set digitale "queries" toe aan elk individu, waardoor de software de temporele evolutie van de bewegingen van één persoon kan volgen, terwijl het tegelijkertijd begrijpt hoe zij interageren met de anderen in de kamer. Deze aanpak ontwarrelt de overlappende informatie, waardoor het systeem in staat is de pose van elke persoon frame voor frame te reconstrueren.

De resultaten van dit werk laten zien dat het systeem werkt. Wanneer het werd getest tegen bestaande methoden die oorspronkelijk waren ontworpen voor tracking van één persoon of werden aangepast van radiogolf-sensing, bleek het nieuwe op geluid gebaseerde systeem nauwkeuriger. Het volgde succesvol complexe bewegingen, zoals een persoon die zijn lichaam draait of beide armen opsteekt, zelfs wanneer dit werd uitgevoerd naast andere bewegende individuen. In tests met twee en drie personen behield het systeem een hoog niveau van precisie, waarbij het de baseline-modellen overtrof in het meten van de afstand tussen voorspelde en werkelijke gewrichtsposities. De onderzoekers ontdekten ook dat hun methode kon adapteren aan onbekende omgevingen; wanneer ze tussenwanden in de kamer plaatsten om de manier waarop geluid reflecteert te veranderen, slaagde het systeem er nog steeds in om grove poses te schatten, wat suggereert dat het verschillende akoestische omstandigheden kan hanteren. Bovendien bleek de onderliggende logica van hun systeem zelfs effectief te zijn wanneer deze werd toegepast op radiofrequentiegegevens, wat aangeeft dat de aanpak robuust is over verschillende soorten signalen.

Dit onderzoek markeert een significante uitbreiding van wat mogelijk is met akoestische sensing. Door te bewegen van scenario's met één persoon naar omgevingen met meerdere personen, heeft het team de deur geopend voor toepassingen in drukke ruimtes, rampenbestrijding en sportanalyse waar camera's niet kunnen worden gebruikt en radiosignalen mogelijk geblokkeerd worden. Hoewel de technologie zich nog in een vroeg stadium bevindt en verdere ontwikkeling vereist om in de echte wereld te worden ingezet, vormt de constructie van deze nieuwe dataset en de validatie van de methode voor multi-persoon schatting een cruciaal fundament. Het werk bevestigt dat geluid, wanneer geanalyseerd met de juiste instrumenten, de verborgen geometrie van een groep mensen kan onthullen, waardoor een chaotische mix van echo's wordt omgezet in een helder beeld van menselijke beweging.

Technische Samenvatting: Geluidsgebaseerde Multi-persoons 3D Pose Estimatie (SoundMHPE)

Probleemdefinitie

Dit artikel behandelt de uitdaging van het schatten van de 3D-poses van meerdere individuen met behulp van alleen akoestische signalen. Hoewel pose-estimatie voor één persoon via actieve akoestische sensing al is verkend, brengt het uitbreiden hiervan naar multi-persoonsscenario's aanzienlijke moeilijkheden met zich mee. In tegenstelling tot single-person settings, waar akoestische variaties uniek worden bepaald door de beweging van één individu, bevatnen multi-persoonsscenario's een superpositie van bewegingsafhankelijke signaalvariaties. De waargenomen signalen zijn een complexe mengeling van overlappende akoestische handtekeningen van meerdere subjecten, wat verder wordt gecompliceerd door inter-persoonlijke reflecties die complexe voortplantingsvertragingen introduceren. Deze factoren vertroebelen de directe correspondentie tussen specifieke fysieke poses en de akoestische gegevens, waardoor het moeilijk is om signaalveranderingen toe te schrijven aan een specifiek individu.

Bestaande methoden die afhankelijk zijn van RGB-beelden lijden onder occlusie (blokkade) en lichtarme omstandigheden, terwijl op draadloze signalen gebaseerde methoden (RF, WiFi, mmWave) beperkingen ervaren bij water- of metaalobstakels en privacyzorgen oproepen. Actieve akoestische sensing biedt een oplossing die ongevoelig is voor verlichting en in staat is om bepaalde obstakels te penetreren, maar eerder werk was beperkt tot single-person estimatie.

Methodologie: SoundMHPE

De auteurs stellen SoundMHPE (Sound-based Multi-person Human Pose Estimator) voor, een nieuw encoder-decoder framework dat is ontworpen om dynamische bewegingsafhankelijke informatie te ontwarren van akoestisch overlappende kenmerken. Het systeem maakt gebruik van een actieve akoestische sensing-opstelling met een paar luidsprekers en een ambisonics-microfoon.

1. Acoustic Multi-scale Encoder (AME)

Om diverse temporele en fijnmazige frequentiekenmerken te vangen, verwerkt de AME het invoerakoestische signaal via een Multi-scale Short Time Fourier Transform (STFT).

Multi-Resolution STFT: Het systeem genereert log-Mel spectrogrammen met behulp van drie verschillende temporele venstergroottes ( $L$ , $2L$ , en $4L$ ) gekoppeld aan bijbehorende Mel-filterbanken ( $B$ , $2B$ , $4B$ ). Dit produceert spectrogrammen met een hoge temporele resolutie ( $a_{high-time}$ ), intermediaire resolutie ( $a_{mid}$ ) en hoge frequentieresolutie ( $a_{high-freq}$ ).
Gespecialiseerde Self-Attention: In plaats van standaard self-attention die alle resoluties samenvoegt, gebruikt de AME:
- Temporal Self-Attention (TSA): Berekent aandacht binnen kenmerken gegenereerd uit dezelfde STFT-vensterresolutie om temporele relaties te modelleren.
- Frequency Self-Attention (FSA): Berekent aandacht over spectrogrammen afgeleid van dezelfde akoestische sequentie maar met verschillende venstergroottes om frequentiedomein-relaties te vangen.

2. Temporal Pose Decoder (TPD)

De TPD is ontworpen om expliciet zowel intra-persoonlijke temporele dynamiek als inter-persoonlijke interacties te modelleren.

Multiple-Query Strategie: In tegenstelling tot standaard DETR-gebaseerde modellen die één query per persoon gebruiken om een volledige sequentie te representeren, wijst SoundMHPE $N_{out}$ leerbare pose-queries toe aan elk individu (één voor elk geschatte frame) plus één instantie-query voor betrouwbaarheidsscore (confidence scoring). Dit stelt het model in staat om zich te concentreren op specifieke akoestische kenmerken die overeenkomen met specifieke tijdstappen, in plaats van de temporele dimensie te laten inklappen.
Ontwarde Attention Mechanismen: Om te voorkomen dat temporele aanwijzingen mengen met inter-persoonlijke afhankelijkheden, gebruikt de TPD twee afzonderlijke self-attention mechanismen:
- Motion Self-Attention (MSA): Beperkt de aandacht tot de queries die bij hetzelfde individu behoren, wat effectief consistente intra-persoonlijke temporele dynamiek extraheert.
- Interaction Self-Attention (ISA): Berekent aandacht tussen een specifiek subject en de queries van alle andere subjecten om inter-persoonlijke afhankelijkheden en wederzijdse akoestische invloeden te modelleren.

3. Training en Loss

Het model wordt getraind met een matching-gebaseerde loss-functie (Hongaarse algoritme) bestaande uit een pose loss ( $L_{pose}$ , mean squared error) en een confidence loss ( $L_c$ , binary cross-entropy).

Belangrijkste Bijdragen

Eerste Multi-persoons Akoestische Pose Estimatie: Dit werk presenteert de eerste poging om multi-persoons 3D-poses te schatten uitsluitend vanaf akoestische signalen, waarbij de inherente signaalambiguïteit en superpositie-uitdagingen worden aangepakt.
Acoustic Multi-scale Encoder: Een nieuw component dat gebruikmaakt van multi-resolutie STFT en gespecialiseerde self-attention (TSA en FSA) om gelijktijdig fijnmazige temporele dynamiek en subtiele akoestische variaties te vangen.
Temporal Pose Decoder: Een decoderarchitectuur die een multi-query strategie en ontwarde attention mechanismen (MSA en ISA) gebruikt om gezamenlijk intra-persoonlijke temporele evolutie en inter-persoonlijke akoestische interacties te modelleren.
AMP Dataset: De constructie van de Acoustic Multi-person Pose (AMP) dataset, een 6-urige dataset met 432.000 gesynchroniseerde frames van multi-persoons pose en akoestische gegevens, verzameld van 15 deelnemers in diverse single-, double- en triple-person configuraties.

Experimentele Resultaten

De auteurs evalueerden SoundMHPE op de AMP-dataset en vergeleken het met aangepaste baselines: een single-person akoestisch model (Shibata et al.) en een multi-persoons WiFi-gebaseerd model (Yan et al.).

Prestaties: SoundMHPE presteerde beter dan alle baseline-modellen op alle metrieken: Mean Per Joint Position Error (MPJPE), Procrustes-aligned MPJPE (PA-MPJPE) en Percentage of Correct Keypoints (PCK). Specifiek behaalde het een MPJPE van 106,5 mm vergeleken met 121,7 mm en 119,9 mm voor de baselines.
Ablatie-studies: Het verwijderen van ofwel de AME of de TPD resulteerde in een significante prestatieverslechtering, wat de noodzaak van zowel multi-scale feature extractie als de gespecialiseerde decoderarchitectuur bevestigt.
Aantal subjecten: Het model behield een concurrerende nauwkeurigheid in triple-person scenario's vergeleken met single-person settings, wat de robuustheid tegen signaalsuperpositie aantoont.
Generalisatie: Het model toonde aanpasbaarheid aan ongeziene omgevingen met verschillende reflectie-eigenschappen (bijv. toegevoegde tussenwanden).
Cross-Modale Validatie: Wanneer toegepast op een WiFi-gebaseerde multi-persoons pose-estimatie benchmark (PiW), presteerde de voorgestelde architectuur (zonder het STFT-component) beter dan zowel single-frame als sequentie-gebaseerde WiFi-baselines, wat suggereert dat de architectuur generaliseerbaar is naar andere modaliteiten.

Betekenis en Claims

Het artikel positioneert dit werk als een fundamentele stap richting niet-invasieve multi-persoons pose-estimatie in omgevingen waar visie en draadloze signalen beperkt zijn. De auteurs beweren dat door de constructie van de eerste toegewijde dataset en het voorstellen van een framework dat expliciet de complexiteit van overlappende akoestische handtekeningen afhandelt, zij een kritiek gat in het veld hebben gedicht.

De betekenis ligt in de demonstratie dat akoestische signalen kunnen worden gebruikt om de poses van meerdere mensen simultaan te schatten, waarbij de beperkingen van occlusie en verlichting die visie-gebaseerde methoden teisteren, worden overwonnen. De auteurs merken bescheiden op dat geluidsgebaseerde pose-estimatie nog in een vroeg stadium verkeert en dat implementatie in de echte wereld uitdagingen kent, met name wat betreft de behoefte aan grootschalige datasets en robuustheid in diverse omgevingen. Zij beschouwen hun bijdrage van de AMP-dataset en de SoundMHPE-architectuur als een noodzakelijke basis om dit pioniersveld verder te ontwikkelen.