💻 computer science

PointT2I: LLM-based text-to-image generation via keypoints

PointT2I is een nieuw, fine-tuning-vrij framework dat een groot taalmodel gebruikt om direct menselijke pose-keypoints te genereren vanuit tekstprompts, die vervolgens worden gebruikt om beeldgeneratie te sturen en worden verfijnd door een op een LLM gebaseerd feedbacksysteem voor nauwkeurige semantische uitlijning.

Oorspronkelijke auteurs: Taekyung Lee, Donggyu Lee, Myungjoo Kang

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taekyung Lee, Donggyu Lee, Myungjoo Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer specifieke instructie probeert te geven aan een getalenteerde maar enigszins letterlijke kunstenaar. Je zegt: "Teken een persoon die de 'Boot Pose' doet in yoga."

Een standaard AI-kunstenaar (zoals de AI's die momenteel beschikbaar zijn) zou "Boot" (boot/bootvorm) kunnen horen en letterlijk een houten boot op het water tekent, of hij zou een persoon in een generieke stoel kunnen tekenen, waarbij de specifieke yogavorm volledig wordt gemist. Het heeft moeite om complexe lichaamsbeschrijvingen te vertalen naar de exacte fysieke structuur van een menselijk skelet.

PointT2I is een nieuw framework dat ontworpen is om dit probleem op te lossen. Zie het als een driestaps-vertaler die tussen jouw woorden en de uiteindelijke afbeelding staat, om ervoor te zorgen dat de kunstenaar precies tekent wat jij hebt beschreven.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Skelet-vertaler" (Keypoint Generation)

In plaats van de kunstenaar alleen jouw tekstuele prompt te geven, vraagt PointT2I eerst aan een superintelligente taalexpert (een Large Language Model, of LLM) om jouw beschrijving te lezen en in zijn geest een 3D-skelet op te bouwen.

De Analogie: Stel je voor dat je een yogahouding beschrijft aan een robot. De robot raadt de houding niet gewoon; de robot berekent de exacte 3D-coördinaten van de neus, ellebogen, knieën en voeten. Hij rekent uit: "Oké, de voeten zijn op de grond (z=0), de benen vormen een 'V'-vorm en het bovenlichaam leunt achterover."
Waarom het belangrijk is: Dit gebeurt zonder dat de robot getraind hoeft te worden op yogavideo's. Het gebruikt zijn algemene kennis van taal en menselijke lichamen om het skelet vanaf nul op te bouwen.

2. De "Blauwdruk" (Image Generation)

Zodra het 3D-skelet is gebouwd, vlakt PointT2I het af naar een 2D "blauwdruk" (een stokfiguur-kaart) en overhandigt dit aan de beeldgenerator (de kunstenaar).

De Analogie: Je geeft de kunstenaar nu twee dingen: je oorspronkelijke tekst ("Teken een persoon in de Boot Pose") EN een stokfiguur-tekening die precies laat zien waar de ledematen moeten komen.
Het Resultaat: De kunstenaar (gebruikmakend van tools zoals GLIGEN of HumanSD) volgt de blauwdruk van de stokfiguur. Omdat de blauwdruk zo precies is, kan de kunstenaar niet per ongeluk een boot of een zittend persoon tekenen; hij wordt gedwongen de specifieke yogahouding te tekenen die jij vroeg.

3. De "Editor" (Feedback System)

Dit is het slimme gedeelte. PointT2I stopt niet na één poging. Het heeft een ingebouwde editor (een andere LLM) die fungeert als een kwaliteitscontroleur.

De Analogie: Stel je voor dat de kunstenaar de tekening maakt. De inspecteur kijkt naar de tekst, de blauwdruk van de stokfiguur en de uiteindelijke tekening.
- Als de inspecteur ziet dat de benen op de verkeerde manier gebogen zijn, zegt hij tegen de skeletbouwer: "Hé, de blauwdruk klopt niet. Pas de coördinaten aan."
- Als het skelet wel klopt maar de tekening er vreemd uitziet, zegt hij tegen de kunstenaar: "De houding is juist, maar de afbeelding komt niet overeen met de prompt. Probeer het opnieuw."
De Loop: Dit gebeurt in een cyclus. Het systeem blijft het skelet en de afbeelding verfijnen totdat ze perfect overeenkomen met jouw beschrijving.

Wat maakt dit bijzonder?

Geen "Schooling" Vereist: De meeste AI-modellen moeten getraind worden op duizenden foto's van yoga om te leren hoe ze dit moeten tekenen. PointT2I heeft dat niet nodig. Het gebruikt de bestaande denkkracht van het taalmodel om de houding ter plekke te begrijpen.
Gaat goed om met het "vreemde": Het werkt uitstekend bij veelvoorkomende houdingen (zoals staan), maar ook bij lastige, complexe houdingen (zoals acrobatiek of specifieke yogaoefeningen) die AI normaal gesproken in verwarring brengen.
Flexibele Taal: Het begrijpt het of je nu zegt "De Boot Pose" (de naam) of "Een persoon die op zijn billen balanceert met de benen in een V-vorm" (een beschrijving). Het vertaalt beide naar hetzelfde perfecte skelet.

Waar het moeite mee heeft (De beperkingen van het paper)

Het paper is eerlijk over waar het systeem tegen grenzen aanloopt:

Complexe Interacties: Als je vraagt om "jaugelen terwijl je een handstand doet", krijgt het systeem de handstand misschien wel goed, maar faalt het bij het jongleren. Het leert nog steeds hoe het meerdere complexe acties tegelijk moet afhandelen.
Menigten: Het werkt het beste met één persoon. Als je vraagt om "een vrouw die tegen de schouder van een man leunt", krijgt het systeem het leunen goed, maar mist het soms het subtiele detail van het handen vasthouden.
Niet-mensen: Als je vraagt om "een leeuw die een pose doet", raakt het systeem in de war. Het probeert de leeuw op twee benen te laten staan zoals een mens, omdat de "skelet-vertaler" getraind is op menselijke lichamen.

Kortom, PointT2I is een brug die vage woorden omzet in precieze lichaamsstructuren, waardoor AI mensen in specifieke houdingen kan tekenen met een veel hogere nauwkeurigheid dan voorheen, en dat allemaal zonder dat er nieuwe data voor training nodig is.

Technische Samenvatting: PointT2I

Probleemstelling

Text-to-image (T2I) generatiemodellen, met name de op diffusie gebaseerde architecturen zoals Stable Diffusion (SD) en SDXL, hebben aanzienlijke vooruitgang geboekt in het genereren van hoogwaardige afbeeldingen die afgestemd zijn op natuurlijke taalprompts. Deze modellen worstelen echter met fijne controle over complexe menselijke houdingen. Bestaande methoden zoals ControlNet, T2I-Adapter, GLIGEN en HumanSD verbeteren de controleerbaarheid door hulpbronnen te accepteren (bijv. keypoints, skeletkaarten), maar deze vertrouwen inherent op externe databronnen om deze structurele condities te leveren. Deze afhankelijkheid creëert een knelpunt: als de externe pose-data niet beschikbaar is of niet overeenkomt met de specifieke semantische intentie van een tekstprompt, faalt de generatie. Bovendien missen huidige benaderingen vaak het vermogen om complexe, beschrijvende instructies over houdingen (bijv. "het uitvoeren van een bootpose" of "het vasthouden van een V-vormige pose") direct uit tekst te interpreteren zonder voorafgaande pose-specifieke fine-tuning.

Methodologie

De auteurs stellen PointT2I voor, een framework ontworpen om de kloof tussen hoogwaardige tekstuele beschrijvingen en structurele pose-begeleiding te overbruggen zonder dat pose-specifieke training of externe hulpgegevens vereist zijn. PointT2I fungeert als een semantic-to-structural translator, waarbij gebruik wordt gemaakt van Large Language Models (LLMs) om menselijke pose keypoints direct uit tekstprompts af te leiden. Het framework bestaat uit drie opeenvolgende componenten:

1. Keypoint Generatie

In plaats van te vertrouwen op externe pose-datasets, gebruikt PointT2I een LLM (specifiek ChatGPT o1-preview in experimenten) om de inputprompt te interpreteren en direct 3D menselijke pose keypoints te genereren.

Proces: De LLM analyseert de prompt om pose-relevante semantiek (lichaamsconfiguratie, grondcontact-aanwijzingen) te extraheren, terwijl irrelevante context wordt weggefilterd.
Output: Het genereert 3D-coördinaten voor 17 belangrijke gewrichten van het menselijk lichaam.
Restricties: Om anatomische plausibiliteit te waarborgen, dwingt de generator restricties af, zoals het verankeren van contactpunten (voeten, handen) aan het grondvlak ( $z=0$ ) en het behouden van realistische lichaamsverhoudingen.
Projectie: De gegenereerde 2D keypoints worden geprojecteerd op een 2D-afbeeldingsvlak met behulp van een orthografisch cameramodel. Het systeem selecteert de projectievisie (uit acht mogelijke richtingen) die de 2D-coördinaatvariantie maximaliseert om overlap van gewrichten te minimaliseren en de ruimtelijke structuur optimaal te behouden.

2. Afbeeldingsgeneratie

De geprojecteerde 2D keypoints dienen als structurele begeleiding (pose guidance) voor een pose-bewuste T2I-backbone.

Backbones: Het framework is compatibel met diverse pose-geconditioneerde modellen, waaronder GLIGEN en HumanSD (gebouwd op SD-architectuur), evenals ControlNet en T2I-Adapter.
Mechanisme: De beeldgenerator is geconditioneerd op zowel de oorspronkelijke tekstprompt als de door de LLM afgeleide pose-begeleiding. Dit stelt de backbone in staat om de specifieke pose beschreven in de tekst te renderen, waardoor de latente structurele renderingscapaciteiten worden ontsloten zonder dat het model de pose-semantiek direct uit taal hoeft te interpreteren.

3. LLM-gebaseerd Feedback Systeem

Om de output te verfijnen en semantische consistentie te waarborgen, maakt PointT2I gebruik van een twee-module feedbackloop aangedreven door LLMs:

Module 1 (Keypoint Verfijning): Evalueert de gegenereerde 3D keypoints tegen de oorspronkelijke prompt. Als er inconsistenties worden gedetecteerd (bijv. onjuiste gewrichtsposities), levert de LLM een uitleg en genereert de keypoints opnieuw.
Module 2 (Afbeeldingsverfijning): Evalueert de gegenereerde afbeelding tegen de prompt en de keypoints. Als de afbeelding niet overeenkomt met de beoogde pose, triggert het systeem een hergeneratie van de afbeelding.
Iteratie: Dit proces iterat (meestal tot drie rondes) om de afstemming tussen de tekst, de structurele begeleiding en de uiteindelijke visuele output progressief te verbeteren.

Belangrijkste Bijdragen

Het paper identificeert drie primaire bijdragen:

Eerste LLM-gestuurde Keypoint Generatie: PointT2I is het eerste framework dat LLMs inzet om menselijke pose keypoints direct uit tekstuele prompts te genereren, dienend als een semantic-to-structural brug. Dit stelt pose-bewuste T2I-backbones in staat om nauwkeurige afbeeldingen uit enkel tekst te genereren, zonder pose-specifieke fine-tuning of externe pose-annotaties.
LLM-gebaseerd Feedback Systeem: De auteurs introduceren een twee-module feedbackmechanisme dat zowel de voorspelde keypoints als de gegenereerde afbeeldingen verfijnt. Dit systeem verbetert de pose-niveau consistentie en afstemming met de tekstuele beschrijving zonder afhankelijk te zijn van ground-truth pose labels of menselijk toezicht.
Robuustheid tegen Prompt Variaties: Het framework vertoont een sterke robuustheid over diverse prompt-formuleringen, waarbij zowel expliciete pose-namen (bijv. "Tree pose") als beschrijvende instructies (bijv. "staand op één been met het andere been tegen de binnenkant van de dij") effectief worden geïnterpreteerd.

Experimentele Resultaten

De auteurs hebben PointT2I geëvalueerd op een diverse set menselijke poses, inclus\n_bij yoga-poses en acrobatische manoeuvres, waarbij de prestaties werden vergeleken met baseline T2I-modellen (SD 1.4 en SDXL).

Kwantitatieve Prestaties:
- VQAScore & CLIPScore: PointT2I presteerde aanzienlijk beter dan de baselines op VQAScore (dat compositionele redenering en actietrouw meet) en CLIPScore over alle categorieën. Bijvoorbeeld, in de categorie "Boat pose" behaalde PointT2I een VQAScore van 0,816 (HumanSD) en 0,669 (GLIGEN), terwijl SD 1.4 en SDXL bijna nul scoorden (0,001 en 0,001, respectievelijk).
- Classificatienauwkeurigheid: Met behulp van een ResNet-classifier die is gefinetuned op de Yoga-82 dataset, behaalde PointT2I een aanzienlijk hogere classificatienauwkeurigheid (bijv. een gemiddelde van 93,9% voor HumanSD versus 40,0% voor SD 1.4), wat aangeeft dat de gegenereerde afbeeldingen meer onderscheidbare en accurate representaties zijn van specifieke yoga-poses.
Kwalitatieve Resultaten: Visuele vergelijkingen toonden aan dat baselines vaak faalden om de juiste lichaamsstructuren te vangen of prompts verkeerd interpreteerden (bijv. het genereren van een letterlijke boot in plaats van een yoga-pose). PointT2I slaagde erin de pose-getrouwheid te behouden en complexe configuraties zoals splits, handstanden en yoga-houdingen accuraat te renderen.
Ablatie Studies:
- Feedback Systeem: Het verhogen van het aantal feedbackrondes verbeterde consequent de VQAScore en CLIPScore, wat de noodzaak van het iteratieve verfijningsproces valideert.
- Prompt Robuustheid: Het framework behield een hoge prestatie over originele en geherformuleerde prompts, wat duidt op een ongevoeligheid voor specifieke bewoordingen.
- Compatibiliteit: De methode generaliseerde goed over verschillende beeldgeneratoren (ControlNet, T2I-Adapter, HumanSD, GLIGEN) en verschillende LLMs (ChatGPT o3, Gemini 2.5 pro).
- Template Gevoeligheid: Het verwijderen van de "grounding condition" (het definiëren van contact met de grond) leidde tot de meest significante prestatiedaling, wat de cruciale rol ervan benadrukt bij het genereren van plausibele poses.

Betekenis en Claims

Het paper claimt dat PointT2I een nieuwe benadering vertegenwoordigt voor controleerbare text-to-image generatie door de noodzaak van externe pose-data te ontkoppelen van het generatieproces. Door een LLM te gebruiken om semantische tekst te vertalen naar structurele keypoints, ontsluit het framework het potentieel van bestaande pose-bewuste backbones, waardoor ze nauwkeurige, pose-geconditioneerde afbeeldingen kunnen genereren op basis van enkel tekst.

De auteurs benadrukken dat dit wordt bereikt zonder enige pose-specifieke training of adaptatie, door gebruik te maken van een bevroren LLM en vooraf getrainde T2I-backbones. Het werk onderstreept het potentieel van LLMs om te dienen als semantische interpreters die diffusiemodellen kunnen begeleiden bij complexe structurele taken. Hoewel het framework veelbelovend is, erkennen de auteurs bescheiden beperkingen, waaronder uitdagingen met interacties tussen meerdere personen, complexe samengestelde acties (bijv. jongleren tijdens een handstand) en het genereren van niet-menselijke poses, die openstaan voor toekomstig onderzoek. Daarnaast introduceert het iteratieve feedbackproces computationele overhead, wat een afweging vormt tussen generatiekwaliteit en efficiëntie.