💻 computer science

SMAL-pets: SMAL Based Avatars of Pets from Single Image

Dit artikel introduceert SMAL-pets, een raamwerk dat op basis van een enkele foto hoogwaardige, bewerkbare 3D-huisdieravatars genereert door 3D-Gaussische splatting te combineren met het SMAL-parametrische model en tekstgestuurde bewerking mogelijk te maken.

Oorspronkelijke auteurs: Piotr Borycki, Joanna Waczyńska, Yizhe Zhu, Yongqiang Gao, Przemysław Spurek

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Piotr Borycki, Joanna Waczyńska, Yizhe Zhu, Yongqiang Gao, Przemysław Spurek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto van je hond hebt en je wilt die hond laten dansen, zitten, of zelfs een pootje geven in een virtuele wereld. Dat klinkt als magie, maar voor computers is het een enorme uitdaging. Honden zijn namelijk heel verschillend: van een Chihuahua tot een Duitse Herder, en ze hebben allemaal een vacht die moeilijk te modelleren is.

De auteurs van dit paper, SMAL-pets, hebben een slimme oplossing bedacht. Laten we het uitleggen alsof we een poppenkast bouwen.

Het Probleem: De "Plastic Pop"

Vroeger waren 3D-honden vaak als plastic speelgoed. Ze zagen er glad uit, zonder echte haren, en als je ze probeerde te laten bewegen, leken ze op een robot die vastliep. Of ze waren zo complex gemaakt dat je ze niet kon veranderen zonder urenlang met de hand te sleutelen.

De Oplossing: Een Slimme Combinatie

SMAL-pets combineert twee dingen die normaal gesproken niet samenwerken, net zoals je een stevige houten poppenkast (het skelet) vult met duizenden kleine, zwevende glazen pareltjes (de vacht en details).

Het Skelet (SMAL): Dit is het onderliggende "geraamte" van de hond. Het is een wiskundig model dat precies weet hoe een hond eruitziet en hoe de botten moeten bewegen. Het zorgt ervoor dat de hond er echt uitziet en niet als een vreemde vorm.
De Glazen Pareltjes (3D Gaussian Splatting): Dit is de nieuwe technologie. In plaats van een gladde huid, gebruiken ze miljoenen kleine, zwevende "glazen druppels". Deze druppels vormen samen de vacht, de neus en de oren. Ze zijn zo fijn dat ze een haartje-voor-haartje realisme geven, zonder dat het zwaar is voor de computer.

Hoe werkt het? (In 3 Stappen)

Stap 1: De Poppetjes Bouwen (Van Foto naar 3D)
Je geeft de computer één foto van je hond. De computer gebruikt een slimme "droom-machine" (een AI) om eerst een ruwe 3D-versie te maken. Vervolgens past het het skelet (SMAL) aan op die ruwe vorm. Het is alsof je een leemmodel maakt van je hond en er een poppenkast-frame onder schuift.

Stap 2: De Vacht Toevoegen (De Magie)
Nu komt het slimme deel. De computer plakt de "glazen pareltjes" eerst op het skelet. Maar om de vacht echt mooi te maken, laat hij de pareltjes los van het skelet. Ze mogen een beetje zweven om de losse haren en de textuur perfect te vangen. Dit zorgt voor een hond die eruitziet alsof hij echt is gefotografeerd, niet getekend.

Stap 3: Het Dansen (Animatie)
Dit is waar het echt cool wordt. Omdat er een skelet onder zit, kun je de hond laten bewegen alsof het een pop is.

Met tekst: Je typt "De hond zit" of "De hond geeft een pootje". De computer begrijpt dit en laat de hond die beweging maken.
Met een foto: Je kunt een foto tonen van een hond in een andere houding, en je eigen 3D-hond doet precies hetzelfde.

Waarom is dit zo speciaal?

Stel je voor dat je een poppenkast hebt. Normaal moet je de poppen zelf bouwen en de touwtjes erin knopen (wat heel moeilijk is). Met SMAL-pets:

Je hoeft niet te knutselen: De computer doet het zware werk.
Het ziet er echt uit: De "glazen pareltjes" zorgen voor een vacht die niet plastic aanvoelt.
Je bent de regisseur: Je kunt je hond laten doen wat je wilt, gewoon door te praten (tekst) of een foto te tonen.

Kortom: SMAL-pets is een nieuwe manier om van één foto een levendige, beweegbare 3D-hond te maken die eruitziet als een echte hond, maar die je kunt laten dansen op commando. Het is alsof je een digitale hond hebt die net zo makkelijk te veranderen is als een poppetje, maar eruitziet alsof hij net uit de dierentuin komt.

Probleemstelling

Het creëren van hoogwaardige, animeerbare 3D-huisdieravataren (specifiek honden) uit één enkele afbeelding is een aanzienlijke uitdaging in de computervisie. Bestaande methoden kampen met de volgende beperkingen:

Data-schaarste: In tegenstelling tot menselijke avataren (waarvoor grote datasets zoals SMPL bestaan), ontbreekt het aan grote, geannoteerde datasets voor dieren.
Morfologische diversiteit: De enorme variatie in grootte, verhoudingen en uiterlijk tussen rassen maakt generalisatie moeilijk.
Kwaliteit en textuur: Bestaande reconstructiemethoden missen vaak realistische vachttexturen en lijken vaak kunstmatig, cartoonachtig of "plastic".
Beperkte bewerkbaarheid: Veel methoden vereisen intensieve handmatige mesh-bewerking en rigging om beweging mogelijk te maken. Het is moeilijk om zowel de vorm als de beweging via natuurlijke taal aan te sturen.
Animatie-bottleneck: Het nauwkeurig aanpassen van parametrische modellen (zoals SMAL) aan bewegende dieren is lastig, en pure generatieve methoden missen vaak de anatomische structuur die nodig is voor consistente animatie.

Methodologie: SMAL-pets

De auteurs introduceren SMAL-pets, een hybride framework dat 3D Gaussian Splatting (3DGS) combineert met het parametrische SMAL-model (Skinned Multi-Animal Linear). De aanpak bestaat uit een end-to-end pipeline met de volgende kerncomponenten:

1. Voorbereiding en Synthetische Dataset

Input: Een enkele RGB-afbeelding van een hond.
Preprocessing: Optionele normalisatie van de input naar een canonieke pose (bijv. staand, zijaanzicht) via prompt-gestuurde beeldtransformatie (met modellen zoals Qwen-Image-Edit of GPT-4o).
Synthetische Ground Truth: Omdat er geen multi-view data is, wordt een feed-forward image-to-3D model (zoals TripoSG) gebruikt om een initieel 3D-mesh te genereren. Dit mesh wordt gebruikt om een synthetische multi-view dataset te renderen, die dient als "pseudo-ground truth" voor training.

2. Twee-staps Training

Het model wordt getraind in twee fasen om zowel structuur als detail te optimaliseren:

Fase I: Gebonden Optimalisatie (Bound Optimization)
- De 3D-Gaussians worden gebonden aan de oppervlakken van het SMAL-mesh.
- De positie van elke Gaussian wordt geparametriseerd via barycentrische coördinaten ten opzichte van de mesh-driehoeken.
- Doel: Het aligneren van de SMAL-skeletstructuur met de vorm van het dier.
- Verliesfunctie: Combineert fotometrische loss (L1 + SSIM), structurele regularisatie (randlengte, Laplacian smoothing) en een strakke opacity-loss om semi-transparante artefacten te voorkomen.
Fase II: Ontkoppelde Optimalisatie (Unbound Optimization)
- Na 15.000 iteraties worden de Gaussians losgekoppeld van het mesh-oppervlak.
- Doel: Het vastleggen van fijne volumetrische details (zoals vacht) die te klein zijn voor het ruwe SMAL-mesh.
- Methode: Adaptieve dichtheidscontrole van 3DGS wordt geactiveerd.
- Verliesfunctie: Behoudt fotometrische loss en regularisatie, maar voegt een point-to-mesh distance term toe. Dit zorgt ervoor dat de Gaussians dicht bij het mesh blijven zonder hun vermogen om details te reconstrueren te verliezen. Er wordt ook een entropy-based regularisatie toegevoegd voor de opacity.

3. Animatie en Skinning

Face-Based Skinning: Na training worden de geoptimaliseerde Gaussians opnieuw gekoppeld aan het articulerende SMAL-mesh.
Skinning Weights: Voor elke Gaussian worden skinning-weights berekend op basis van de afstand tot de dichtstbijzijnde mesh-driehoeken.
Animatie: Tijdens inferentie worden de pose-parameters ( $\theta$ ) van het SMAL-model aangepast. De Gaussians worden vervolgens vervormd via een analogie van Linear Blend Skinning (LBS), waarbij positie, rotatie en schaal van de Gaussians meebewegen met het onderliggende skelet. Dit zorgt voor anatomisch correcte beweging.

4. Bewerking en Motion Synthesis

Tekstgestuurde Bewerking: Gebruikers kunnen de textuur en het uiterlijk (bijv. "marmeren vacht") aanpassen via natuurlijke taal prompts, gebruikmakend van Vision-Language modellen en tools zoals DGE (Direct Gaussian Editor).
Tekstgestuurde Animatie: Om complexe bewegingen te genereren (bijv. "zitten" of "poot geven"):
1. Een generatief model (HunyuanVideo) genereert een video tussen een startafbeelding en een doelafbeelding (gegenereerd via tekst).
2. FramePack zorgt voor tijdsconsistentie.
3. ActionMesh mapt deze video terug naar het 3D-SMAL-model, waardoor de Gaussians de beweging volgen.

Belangrijkste Bijdragen

Hybride Representatie: Een nieuw framework dat 3D Gaussian Splatting integreert met het SMAL-parametrische model, waardoor een balans wordt gevonden tussen visuele hoogwaardigheid (vacht, textuur) en strikte anatomische structuur.
Multimodale Bewerkingspipeline: Een systeem dat het mogelijk maakt om avataren semantisch te verfijnen (textuur, vorm) via natuurlijke taal, zonder de onderliggende structuur te breken.
Geautomatiseerde Motion Synthesis: Een workflow die statische reconstructies animeert via tekstcommando's, waarbij generatieve videopriors worden vertaald naar mesh-deformaties, waardoor handmatig rigging overbodig wordt.

Resultaten

Kwaliteit: SMAL-pets presteert beter dan bestaande methoden (zoals DogRecon, GART, AniAv.) op het gebied van detailherkenning, vooral bij vacht. De resultaten zijn visueel realistischer en vermijden de "plastic" look van pure generatieve modellen.
Animatie: Het model ondersteunt soepele bewegingsoverdracht naar nieuwe poses. Kwalitatieve vergelijkingen tonen aan dat de visuele consistentie behouden blijft tijdens beweging.
Metingen:
- CLIP-Score: SMAL-pets behaalt hogere scores (bijv. 0.850 voor Husky) in vergelijking met GART (0.820), wat aangeeft dat de gegenereerde animaties beter overeenkomen met de inputafbeelding.
- PSNR: De twee-staps training (Stage 2) verbetert de reconstructiekwaliteit aanzienlijk (van ~29 naar ~43 PSNR in synthetische tests).
Backbone-onafhankelijkheid: Het framework werkt met verschillende image-to-3D backbones (TripoSG, Trellis, SAM3D), waarbij TripoSG de beste resultaten leverde voor deze specifieke pipeline.

Betekenis en Impact

SMAL-pets vult een cruciale lacune in de digitale creatie voor dieren. Het biedt een oplossing voor het gebrek aan grote datasets door een hybride aanpak te gebruiken die de sterktes van parametrische modellen (structuur, rigging) combineert met de renderingkracht van Gaussian Splatting (detail, textuur).

De techniek maakt het mogelijk voor kunstenaars en ontwikkelaars om realistische, volledig animeerbare huisdieravataren te genereren vanuit één foto, met de mogelijkheid om deze te bewerken en te laten bewegen via natuurlijke taal. Dit opent nieuwe mogelijkheden voor virtuele realiteit, gaming en digitale filmproductie, waarbij de barrière voor het maken van hoogwaardige 3D-dieravataren aanzienlijk wordt verlaagd.

Beperkingen: De methode is afhankelijk van de kwaliteit van de initiële image-to-3D generatie; topologische fouten in de initiële generatie (bijv. extra ledematen) worden overgenomen. Ook kan extreme camera-rotatie in gegenereerde video's leiden tot tracking-fouten.