Technische Samenvatting: Contrastief Multi-Modaal Hypergraafredeneren voor 3D Menigte-Meshherstel

Probleemstelling

3D-reconstructie van meerdere personen is essentieel voor toepassingen in virtual reality, menigteanalyse en menselijke interactie. Het herstellen van nauwkeurige 3D-meshes in echte, drukke omgevingen blijft echter een formidabele uitdaging vanwege ernstige onderlinge occlusies, complexe ruimtelijke arrangementen en inherente diepteambiguïteit.

Huidige state-of-the-art-benaderingen staan voor twee primaire beperkingen:

1. Afhankelijkheid van één modale: De meeste methoden vertrouwen uitsluitend op RGB-afbeeldingen of 2D-sleutelpunten. Hoewel deze invoer voldoende is voor geïsoleerde individuen, ontbreekt er expliciete geometrische begeleiding, wat leidt tot diepteambiguïteit en kwetsbaarheid in dichte menigten.
2. Geïsoleerde reconstructie: Bestaande methoden reconstrueren personen vaak geïsoleerd of vertrouwen op pareninteracties. Dit negeert de collectieve groepscontext en hogere-orde cross-subject priors die nodig zijn om ambiguïteiten op te lossen wanneer individuen zwaar worden verduisterd. Bovendien passen benaderingen die wel hulpmodi gebruiken (bijv. LiDAR, Radar) vaak ondiepe fusieschema's toe die niet volledig gebruikmaken van cross-modale informatie.

Methodologie: CoMHR

De auteurs stellen Contrastief Multi-modaal Hypergraafredeneren (CoMHR) voor, een raamwerk ontworpen om semantische, geometrische en pose-signalen te laten samenwerken binnen een hogere-orde topologische structuur. De pijplijn bestaat uit drie hoofdfasen:

1. Multi-modale Nodestart

Om de onbetrouwbaarheid van enkelvoudige modale signalen in verduisterde scènes te mitigeren, initialiseert CoMHR robuuste noderepresentaties door drie complementaire modi te fuseren voor elke gedetecteerde persoon:

• Visuele Semantische Encodering: Hoogresolutie afbeeldingspatches worden verwerkt via een ResNet-ruggengraat om RGB-kenmerken ($F_{rgb}$) te extraheren.
• Geometrische Structuur Encodering: Een pseudo-dieptekaart wordt gegenereerd met Depth Anything V2. Enkelkanaals dieptepatches worden gecodeerd om geometrische ordeningssignalen ($F_{depth}$) te bieden, waarmee het gebrek aan diepte in RGB-kenmerken wordt aangepakt.
• Occlusie-bewuste Pose Encodering: 2D-gewrichten worden geschat via OpenPose. Een zichtbaarheidsmasker filtert gewrichten met lage betrouwbaarheid, en geldige gewrichten worden bemonsterd met dieptewaarden om 3D-vectoren te vormen. Deze worden verwerkt door een lichtgewicht 1D-convolutionele encoder om pose-embeddings ($F_{pose}$) te leveren die skelet-priors vastleggen, zelfs onder occlusie.
• Bekken-geleide Globale Ruimtelijke Embedding: Een Bekken Diepte Indicator ($T_z$) wordt berekend als de gemiddelde diepte van zichtbare heupgewrichten. Dit dient als een globale ruimtelijke anker om expliciet de voor-achter volgorde tussen personen af te dwingen. $T_z$ wordt geconcateneerd met RGB-kenmerken om hun gebrek aan ruimtelijk bewustzijn te compenseren.

Deze kenmerken worden gemapt naar een uniforme latente ruimte en geconcateneerd om een geaggregeerde noderepresentatie ($h_{agg}$) te vormen.

2. Contrastief Hypergraafconstructie

In plaats van vooraf gedefinieerde topologieën, construeert CoMHR een Gedeelde-Topologie Hypergraaf dynamisch op basis van geaggregeerde kenmerken.

• Dynamische Hyperedge-Generatie: Een globale affiniteitsmatrix wordt berekend vanuit $h_{agg}$ om $K$-naaste buren voor elke node te identificeren, waardoor hoogdichte subgroepen (hyperedges) worden gevormd. Dit zorgt voor een consistente topologie over alle modi (RGB, diepte, pose).
• Hypergraaf Contrastief Leren: Om de kwaliteit van de gedeelde topologie te waarborgen, regulariseert een dubbel-branch contrastieve leerstrategie de kenmerkenruimte voordat aggregatie plaatsvindt:
  • Intra-modaal Contrastief Leren: Nodes met vergelijkbare ground-truth 3D-poses worden behandeld als positieve paren. De verliesfunctie minimaliseert de intra-modale afstand om strakkere semantische clustering en structurele coherentie binnen elke modus af te dwingen.
  • Cross-modaal Contrastief Leren: Een orthogonaliteitsbeperking wordt toegepast op de cosinussimilariteit tussen verschillende modi van dezelfde node. Dit dwingt cross-modale complementariteit af, voorkomt kenmerkverontreiniging en zorgt ervoor dat heterogene modi onderscheidende eigenschappen vastleggen.

3. Multi-modaal Hypergraafredeneren en Regressie

Met behulp van de gedeelde hypergraaftopologie voert het raamwerk hogere-orde redenering uit via een tweestaps berichtoverdrachtsmechanisme:

1. Node-naar-Hyperedge Aggregatie: Informatie wordt geaggregeerd van individuen binnen een hyperedge om groepsniveau-representaties te vormen, waarbij collectieve patronen (bijv. gedeelde beweging) worden vastgelegd.
2. Hyperedge-naar-Node Update: Groepskenmerken worden teruggepropageerd om individuele nodenkenmerken te verfijnen. Dit stelt het netwerk in staat ontbrekende signalen voor verduisterde personen af te leiden door collectieve groepsdynamiek te benutten.

Tot slot worden de verfijnde multi-modale kenmerken geconcateneerd met bounding box-embeddings en ingevoerd in een SMPL-regressor om pose ($\theta$), vorm ($\beta$) en cameraparameters te voorspellen. Het netwerk wordt end-to-end getraind met een multi-objectieve verliesfunctie die 2D-reprojectie, SMPL-parameters, 3D-gewrichtscoördinaten en de contrastieve regularisatieterm combineert.

Belangrijkste Bijdragen

1. Multi-modaal Hypergraaf Raamwerk: De auteurs stellen een nieuw raamwerk voor dat RGB-, diepte- en pose-kenmerken laat samenwerken om expliciet hogere-orde correlaties te modelleren voor robuuste reconstructie, verdergaand dan parenbeperkingen.
2. Hypergraaf Contrastief Leren: Een nieuwe leerstrategie wordt geïntroduceerd om intra-modale discriminatievermogen en cross-modale complementariteit te verbeteren. Dit zorgt voor kenmerkrobustheid door orthogonaliteit tussen modi af te dwingen en vergelijkbare acties binnen modi te clusteren.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de methode superieure prestaties behaalt in termen van nauwkeurigheid, ruimtelijke consistentie en computationele efficiëntie in vergelijking met bestaande methoden.

Experimentele Resultaten

De methode werd geëvalueerd op de Panoptic Studio en GigaCrowd benchmarks.

• Panoptic Dataset: CoMHR behaalde een Mean Per Joint Position Error (MPJPE) van 104,2 mm, waarmee het eerdere state-of-the-art-methoden zoals GroupRec (106,6 mm), BEV (109,5 mm) en ROMP (128,2 mm) overtrof. Opmerkelijk is dat op de uitdagende "Pizza"-sequentie de fouten met 7,6 mm werden verminderd ten opzichte van BEV en met 20,0 mm ten opzichte van ROMP.
• GigaCrowd Dataset: In grootschalige, dichte menigtescenario's presteerde CoMHR aanzienlijk beter dan GroupRec en andere baselines op alle metrieken:
  • OKS (Pose Consistentie): Verbetering van 7,3% ten opzichte van GroupRec (78,11 vs. 70,80).
  • PA-PPDS (Ruimtelijke Consistentie): Verbetering van 8,5% (75,74 vs. 67,22).
  • PCOD (Mesh Uitlijning): Toename van 22,9% (94,35 vs. 71,42).
  • RP (Reconstructie Conflicten): Behaalde 0,00, waardoor reconstructieconflicten volledig werden geëlimineerd, terwijl GroupRec 0,17 had.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat CoMHR ruimtelijk consistente meshes produceert met nauwkeurige relatieve dieptevolgorde, en voorkomt veelvoorkomende faalmodi van baselines zoals zwevende voeten, drijvende lichamen en onjuiste dieptevolgorde.
• Ablatiestudies: Resultaten bevestigen dat elke component significant bijdraagt. Het volledige model (RGB + Diepte + Pose + $T_z$ + Contrastief Leren) behaalde de laagste MPJPE (104,18 mm), wat de noodzaak aantoont van multi-modale fusie, translatieverfijning en contrastieve uitlijning.

Betekenis en Claims

Het artikel beweert dat CoMHR de kritieke knelpunten van diepteambiguïteit en occlusie in 3D-reconstructie van meerdere personen aanpakt door over te schakelen van geïsoleerde, enkelvoudige modale verwerking naar een collectief, multi-modaal redeneringsparadigma.

De auteurs benadrukken dat hun aanpak:

• Complementaire Modi Laat Samenwerken: Door foundation-modellen (Depth Anything, OpenPose) te benutten voor geometrische priors en deze te fuseren met RGB-semantiek, creëert de methode robuuste beperkingen, zelfs wanneer individuele signalen zijn beschadigd.
• Hogere-orde Dynamiek Modelleert: Het gebruik van hypergrafen stelt het systeem in staat interacties op groepsniveau vast te leggen en ontbrekende informatie voor verduisterde personen af te leiden, een vermogen dat ontbreekt bij paren- of instantie-gerichte benaderingen.
• Robuustheid Waarborgt: Het contrastieve leermechanisme aligneert en ontkoppelt kenmerken expliciet, voorkomt cross-modale verontreiniging en zorgt ervoor dat het netwerk globale context effectief kan propageren.

Het werk vestigt een nieuwe state-of-the-art voor 3D-menigte-meshherstel en biedt een oplossing die zowel nauwkeurig als robuust is in extreem dichte en verduisterde omgevingen waar traditionele methoden falen. De code en voorgetrainde modellen zijn beschikbaar gesteld om reproduceerbaarheid te faciliteren.