💻 computer science

Composing People Together: Iterative Pose-Image Generation for Multi-Person Interaction Scenes

Dit artikel introduceert een dubbel framework voor pose-afbeeldingsgeneratie dat gebruikmaakt van persoonsgerichte structurele priors en een iteratief schema voor het construeren van scènes om de beperkingen van huidige tekst-naar-afbeeldingsmodellen bij het creëren van semantisch diverse en compositieel nauwkeurige scènes met interacties tussen meerdere personen te overwinnen.

Oorspronkelijke auteurs: Wenxuan Peng, Bharath Hariharan, Hadar Averbuch-Elor

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenxuan Peng, Bharath Hariharan, Hadar Averbuch-Elor

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar lichtelijk verwarde kunstenaar probeert te leren hoe hij een complex tafereel met veel mensen die met elkaar interageren moet schilderen, zoals een dans, een rugbywedstrijd of een priester die de handen van een ander wast.

Huidige AI-kunstgeneratoren (zoals SDXL of FLUX) zijn als die kunstenaar: ze zijn uitstekend in het schilderen van individuele personen of eenvoudige landschappen. Maar wanneer je hen vraagt een groep mensen te schilderen die samen specifieke dingen doen, raken ze vaak de weg kwijt. Ze kunnen een persoon vergeten, verwarren wie wiens hand vasthoudt, of ervoor zorgen dat iedereen in exact dezelfde saaie houding staat. Het is alsof je een koor vraagt een complexe harmonie te zingen, en ze eindigen allemaal met hetzelfde nootje te zingen of hun partijen te vergeten.

Dit artikel, "Composing People Together", introduceert een nieuwe manier om de AI te sturen zodat het deze groepsinteracties correct kan uitvoeren. Hieronder wordt uitgelegd hoe ze dit deden, met behulp van eenvoudige analogieën:

1. De "Skelet en Huid"-truc (Dubbele Pose-afbeeldingsgeneratie)

Normaal gesproken raadt een AI, wanneer hij probeert een persoon te tekenen, de vorm en de kleding tegelijkertijd. Het is alsof je probeert een standbeeld te beeldhouwen terwijl je het tegelijkertijd beschildert; als de vorm verkeerd is, ziet de verf er ook verkeerd uit.

De oplossing van de auteurs is om de AI twee dingen tegelijk te laten tekenen:

Het Skelet (Pose): Een eenvoudige stokfiguur-tekening die precies aangeeft waar de armen, benen en hoofden zich bevinden.
De Huid (Afbeelding): De uiteindelijke, kleurrijke, realistische foto.

De Analogie: Denk aan het bouwen van een huis. Eerst bouw je het stevige houten frame (het skelet). Zodra het frame perfect is, hang je de gipsplaten op en schilder je de muren (de huid). Door de AI te dwingen eerst "het skelet te tekenen", zorgt je ervoor dat de mensen in de juiste posities staan voordat je je zorgen maakt over hun kleding of gezichten. Dit houdt de structuur stevig zodat het uiteindelijke plaatje niet instort.

2. Het "Naamplaatje"-systeem (Cross-modale uitlijning)

Zelfs met een skelet kan de AI in de war raken over wie wat doet. Als je zegt: "De man in het rode shirt tilt de vrouw op", kan de AI per ongeluk het rode shirt aan de vrouw geven of de man de verkeerde persoon laten tillen.

De auteurs hebben een speciaal "Naamplaatje"-systeem gecreëerd met behulp van een techniek genaamd Rotary Positional Encoding (RoPE).

De Analogie: Stel je voor dat elke persoon in het tafereel een uniek gekleurd polsbandje heeft (een "Rol-ID"). De tekst die de man in het rode shirt beschrijft, het stokfiguur-arm van de man in het rode shirt, en de pixels van het rode shirt van de man krijgen allemaal hetzelfde gekleurde polsbandje.
Dit dwingt de AI om te beseffen: "Oh, deze tekst, deze arm en dit shirt behoren allemaal tot dezelfde persoon." Het voorkomt dat de AI de rollen door elkaar haalt, zodat de priester de juiste handen wast en de rugbyspeler de juiste tegenstander tackelt.

3. De "Eén voor één"-assemblagelijn (Iteratieve generatie)

Proberen een hele groep mensen in één grote sprong te genereren, is alsof je probeert een 1.000-stukjespuzzel in één keer op te lossen. Het is te moeilijk, en de AI mist vaak stukjes.

In plaats daarvan bouwt deze methode het tafereel één persoon tegelijk op.

De Analogie: Stel je voor dat je een trein bouwt. Je probeert niet alle wagons in één seconde aan elkaar te klikken. Je begint met de locomotief (Persoon 1). Zodra de locomotief er is, voeg je de eerste wagon toe (Persoon 2) die eraan vastzit. Dan voeg je de tweede wagon toe (Persoon 3) die aan de tweede wagon vastzit.
De AI kijkt naar het "skelet" van de mensen die al getekend zijn en voegt de volgende persoon toe op basis daarvan. Dit breekt een enorm, angstaanjagend probleem op in een reeks kleine, gemakkelijke stappen. Het zorgt ervoor dat naarmate het tafereel groeit, de nieuwe persoon perfect past bij de mensen die er al zijn.

4. De Nieuwe "Test" (DrawWaldoWorlds)

Om te bewijzen dat hun methode werkt, konden de auteurs niet zomaar oude tests gebruiken, omdat die tests niet echt controleerden of mensen correct met elkaar interageerden. Ze bouwden een nieuwe test genaamd DrawWaldoWorlds.

De Analogie: Het is als een "Waar is Waldo?"-spel, maar dan voor AI. Ze geven de AI een zeer specifieke beschrijving (bijvoorbeeld: "De man in de blauwe hoed houdt de paraplu boven de vrouw in de rode jas") en vragen de AI om het te tekenen. Vervolgens controleren ze: Heeft de AI de kleur van de hoed goed? Is de paraplu echt boven de vrouw? Heeft hij de vrouw helemaal vergeten?
Ze testten hun methode tegen topconcurrenten (zoals FLUX en SDXL) en ontdekten dat hun methode veel beter was in het correct krijgen van de details en het creëren van diverse, niet-herhalende scènes.

Samenvatting

Kortom, het artikel zegt: "Om AI ertoe te brengen complexe groepsinteracties te tekenen, vraag haar niet zomaar om 'een plaatje te schilderen'. Laat haar in plaats daarvan eerst een skelet bouwen, elke persoon voorzien van een unieke ID zodat ze weet wie wie is, en mensen één voor één toevoegen alsof je een trein bouwt."

Het resultaat zijn afbeeldingen waarbij mensen daadwerkelijk correct met elkaar interageren, in plaats van gewoon verward naast elkaar in een hoop te staan.

Technische Samenvatting: Mensen Samen Componeren

Probleemstelling

Huidige diffusion-modellen voor tekst-naar-afbeelding worstelen met het genereren van semantisch diverse en compositie-accurate scènes die interacties tussen meerdere personen betreffen. Hoewel recente modellen (bijv. FLUX, SDXL) zijn verbeterd in het vastleggen van individueel uiterlijk, slagen ze er vaak niet in om specifieke rollen, ruimtelijke relaties en wederzijdse affordances tussen personen correct te realiseren. Veelvoorkomende faalmodi zijn het weglaten van entiteiten, het verkeerd uitlijnen van acties (bijv. een priester die handen wast zonder een assistent die water inschenkt), het instorten in repetitieve poses, en het niet verankeren van fijnkorrelige interactiesemantiek. Bestaande benaderingen die vertrouwen op grove ruimtelijke lay-outs (begrenzingsvakken) of externe structurele aanwijzingen missen de granulariteit die nodig is om de enorme combinatorische ruimte van menselijke poses, expressies en sociale contexten te modelleren.

Methodologie

De auteurs stellen een raamwerk voor dat deze kloof overbrugt door persoonsgerichte structurele prioren direct in voorgeïmplementeerde diffusion-transformers in te brengen. De kern van de methode bestaat uit drie geïntegreerde componenten:

1. Dual Pose–Afbeelding Representatie

In plaats van menselijke pose te behandelen als een externe voorwaarde, voorspelt het model gezamenlijk een 2D-visualisatieafbeelding van de pose en de bijbehorende RGB-afbeelding.

Architectuur: Gebaseerd op de FLUX Diffusion Transformer (DiT), introduceert de methode een parallelle pose-stroom die is geïnitieerd vanuit de parameters van de afbeeldingsbranch.
Trainingsstrategie: De voorgeïmplementeerde tekst- en afbeeldingsstromen worden bevroren om visuele kwaliteit te behouden. Alleen de pose-stroom (met LoRA) en specifieke projectielagen zijn trainbaar.
Gezamenlijk Redeneren: Het model leert om expliciet te redeneren over interactie-relevante structuur tijdens de generatie, in plaats van te vertrouwen op impliciete uiterlijke aanwijzingen. De pose wordt weergegeven als een gerenderde 2D-afbeelding (OpenPose-formaat) om de compatibiliteit met de voorgeïmplementeerde VAE te maximaliseren.

2. Cross-Modale Uitlijning via Rolbewuste RoPE

Om consistente verankering over tekst-, pose- en afbeeldingsmodaliteiten te waarborgen, modificeren de auteurs de 3D Rotary Positional Encoding (RoPE) die in de transformer wordt gebruikt.

Mechanisme: De temporele coördinaat $\tau$ in de standaard $(\tau, x, y)$ -codering wordt hergebruikt om een uniforme rolidentiteit te vestigen.
Implementatie: Alle tokens die geassocieerd zijn met een specifieke persoon (tekstbeschrijvingen, pose-tokens en afbeeldingstokens binnen een begrenzingsvak) krijgen een gedeelde $\tau$ -index toegewezen (bijv. $\tau = i$ voor de $i$ -de persoon). Tokens buiten begrenzingsvakken gebruiken $\tau = 0$ . Dit koppelt per-persoon tekstuele beschrijvingen aan hun overeenkomstige visuele en structurele regio's zonder de backbone-architectuur te wijzigen.

3. Iteratieve Scène Constructie

Door gebruik te maken van de decomposeerbare aard van pose-representaties, passen de auteurs een iteratief generatieschema toe om complexe scènes te construeren.

Proces: De scène wordt stapsgewijs opgebouwd, waarbij telkens één persoon wordt toegevoegd. In stadium $i$ conditioneert het model op de eerder gegenereerde pose-status $P_{i-1}$ (die personen $1$ tot $i-1$ vertegenwoordigt), de globale interactiebeschrijving en de specifieke beschrijving voor de $i$ -de persoon.
Voordeel: Dit transformeert het complexe meerpersoonsredeneringsprobleem in een reeks eenvoudigere subtaken, waardoor de generatiecomplexiteit effectief wordt gedecomposeerd en semantische verstrengeling wordt verminderd.
Training: Ground-truth-afbeeldingen worden gedecomposeerd in tussenliggende pose-stadia ( $P_1, \dots, P_N$ ). Het model wordt op elke fase gesuperviseerd op de pose, maar pas op het laatste stadium op het uiteindelijke RGB-afbeelding.

Belangrijkste Bijdragen

Dual Pose–Afbeelding Representatie: Een nieuwe architectuur die persoonsgerichte structurele prioren injecteert in diffusion-transformers, waardoor iteratieve meerpersoonsgeneratie mogelijk wordt door gezamenlijk pose en uiterlijk te voorspellen.
DrawWaldoWorlds Benchmark: Een nieuwe evaluatiebenchmark afgeleid van de Who's Waldo-dataset, met drie niveaus van prompt-specificiteit (A, B, C) om uitlijning en diversiteit te evalueren in interactie-gerichte synthese van meerdere mensen.
Prestatieverbeteringen: Aangetoond significante winsten in zowel semantische uitlijning (trouw aan de prompt) als scène-diversiteit in vergelijking met state-of-the-art tekst-naar-afbeelding-, bewerkings- en lay-outgecontroleerde baselines.

Resultaten

De methode werd geëvalueerd op DrawWaldoWorlds en de MultiHuman-Testbench.

Semantische Uitlijning: De voorgestelde methode behaalde de hoogste VQA-nauwkeurigheid en VQA-ähnelijkheidsscores over alle prompt-niveaus. Het behield een hoge uitlijning zelfs naarmate de prompt-complexiteit toenam (Niveau C), terwijl baselines vaak faalden om alle entiteiten of hun interacties te vangen.
Diversiteit: De methode presteerde beter dan de meeste baselines op diversiteitsmaten (DINO Diff, LPIPS, GRADE), waarbij gevarieerde maar semantisch coherente realisaties van dezelfde prompt werden geproduceerd.
Gebruikersstudie: In een blinde vergelijking met FLUX [dev] en FLUX Kontext [dev] gaven menselijke beoordelaars de voorkeur aan de output van de voorgestelde methode in respectievelijk 63,3% en 79,0% van de gevallen, met als reden betere adherence aan de tekst.
Ablatiestudies: Het verwijderen van een van de drie kerncomponenten (pose-supervisie, iteratieve compositie of rolbewuste RoPE) resulteerde in meetbare prestatiedalingen, wat bevestigt dat alle elementen noodzakelijk zijn voor sterke semantische uitlijning.

Betekenis

Het artikel betoogt dat expliciete, persoonsgerichte structurele abstracties dienen als een krachtige brug tussen hoog-niveau semantische intentie en laag-niveau visuele generatie. Door interactiestructuur te ontwarren van uiterlijk en iteratieve compositie te benutten, biedt de aanpak een schaalbare oplossing voor de combinatorische complexiteit die inherent is aan scènes met meerdere entiteiten. De auteurs suggereren dat het integreren van dergelijke gestructureerde, decomposeerbare representaties als first-class modaliteiten binnen generatieve modellen nieuwe kansen opent voor meer trouwe, interpreteerbare en controleerbare synthese, niet alleen voor menselijke interacties maar potentieel ook voor complexe scènes met rijkere dynamiek en diverse interacterende entiteiten.