BBQ-to-Image: Numeric Bounding Box and Qolor Control in Large-Scale Text-to-Image Models

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kunstenaar bent die een schilderij wil maken, maar in plaats van te tekenen, geef je de kunstenaar alleen een mondelinge beschrijving. Je zegt: "Teken een rode auto links en een blauwe hond rechts."

Het probleem? De kunstenaar is creatief, maar niet altijd precies. De "rode" auto kan oranje zijn, en de "links" kan eigenlijk wel in het midden staan. Voor een gewone foto is dat prima, maar voor professioneel werk (zoals reclames of ontwerpen) wil je vaak: "De auto moet exact op coördinaat X staan en de kleur moet exact #FF0000 zijn."

Dit is precies het probleem dat het nieuwe model BBQ oplost. Hier is hoe het werkt, vertaald naar simpele taal:

1. Het Probleem: Woorden zijn vaag, cijfers zijn zeker

Tot nu toe moesten we AI-modellen vertellen wat ze moesten doen met woorden. Woorden zoals "groot", "links" of "donkerblauw" zijn subjectief. Iedereen interpreteert dat anders.
Professionals hebben echter cijfers nodig. Ze willen weten: "Het object moet precies op 30% van de breedte staan" en "De kleur moet exact deze specifieke tint rood zijn."

2. De Oplossing: BBQ (Bounding Boxes & Qolors)

De onderzoekers van BRIA AI hebben een nieuw model gebouwd dat niet alleen naar woorden luistert, maar ook naar nummers. Ze noemen het BBQ (een knipoog naar Bounding Boxes en Qolors – met een 'Q' voor de 'Q' in BBQ, maar het gaat om de kleur).

De creatieve analogie: De "Super-Vertaler"
Stel je BBQ voor als een super-geavanceerde chef-kok in een restaurant.

De oude manier: Je zegt tegen de chef: "Maak een salade met wat tomaatjes links en komkommers rechts." De chef maakt het, maar de tomaatjes liggen misschien wel in het midden en de komkommers zijn misschien niet zo groen als jij bedoelde.
De BBQ-methode: Je geeft de chef een exacte receptkaart met coördinaten. "Leg de tomaatjes precies op punt (30, 50) en de komkommers op (70, 20). Gebruik exact deze specifieke groene kleurcode."
Het resultaat: De chef (het AI-model) maakt precies wat je vraagt, zonder gissen.

3. Hoe werkt het? (Zonder ingewikkelde techniek)

Het mooie aan dit onderzoek is dat ze de "motor" van de AI niet hebben vervangen. Ze hebben de trainingsdata aangepast.

Ze hebben de AI niet geleerd om te "rekenen" in de code.
Ze hebben de AI gewoon duizenden voorbeelden getoond waarbij de beschrijvingen niet alleen woorden bevatten, maar ook de exacte nummers (coördinaten en kleuren).
De AI heeft geleerd: "Ah, als ik dit nummer zie, moet ik het object daar neerzetten."

4. De "Magische" Vertaler (De VLM)

Natuurlijk wil jij als gebruiker niet zelf een ingewikkeld formulier invullen met honderden nummers. Je wilt gewoon zeggen: "Zet een hond in de hoek."
Daarom gebruiken ze een tweede AI (een "Vertaler"):

Jij zegt: "Een hond in de hoek."
De Vertaler (een slimme taalmodel) denkt: "Oké, ik ga dit omzetten naar de taal van BBQ." Hij schrijft: "Hond, coördinaten (80, 80, 95, 95), kleur (bruin, code #8B4513)."
BBQ kijkt naar die nummers en maakt het plaatje.

5. Waarom is dit zo cool? (De "Kleurenpipet" en "Sleepfunctie")

Omdat de AI werkt met nummers, kun je het plaatje heel makkelijk aanpassen zonder alles opnieuw te maken.

Sleepfunctie: Als je de hond wilt verplaatsen, hoef je niet te zeggen "verplaats de hond naar links". Je sleept de hond gewoon in de interface. De AI ziet dat de nummers veranderen en past alleen de hond aan. De achtergrond blijft precies hetzelfde.
Kleurenpipet: Wil je de hond rood maken? Je klikt op rood in je kleurenpalet. De AI ziet het nieuwe kleurnummer en maakt de hond rood, terwijl de rest van het beeld onveranderd blijft.

Samenvatting

Vroeger was het genereren van afbeeldingen met AI een beetje als gokken: je hoopte dat de AI je bedoeling zou begrijpen.
Met BBQ is het meer als programmeren: je geeft exacte instructies (nummers) en de AI voert ze perfect uit. Het maakt het mogelijk om afbeeldingen te maken die niet alleen mooi zijn, maar ook precies zoals een ontwerper of professional ze nodig heeft, zonder dat je een computerexpert hoeft te zijn.

Each language version is independently generated for its own context, not a direct translation.

Titel en Context

Titel: BBQ-to-Image: Numerieke Bounding Box en Kleurcontrole in Groot-Schalige Tekst-naar-Afbeelding Modellen
Auteurs: Eliran Kachlon et al. (BRIA AI)
Doel: Het overbruggen van de kloof tussen beschrijvende taal en de vereiste numerieke precisie in professionele workflows voor afbeeldingsgeneratie.

1. Het Probleem

Hoewel tekst-naar-afbeelding modellen (zoals FIBO, Hunyuan 3.0, FLUX.2) enorme vooruitgang hebben geboekt in realisme en controle via gedetailleerde captions, blijft er een fundamentele parametrische kloof bestaan:

Onnauwkeurigheid: Bestaande modellen vertrouwen op beschrijvende taal (bijv. "crimson", "rechtsboven"), wat subjectief en vaag is.
Professionele Behoefte: Professionele workflows vereisen deterministische precisie, zoals exacte RGB-waarden voor kleuren en pixel-accurate bounding boxes voor objectlocaties en -groottes.
Beperkingen van huidige oplossingen: Bestaande methoden voor ruimtelijke controle (zoals GLIGEN, InstanceDiffusion) vereisen vaak complexe architecturale wijzigingen, speciale grounding-tokens of optimalisatie tijdens de inferentie, wat de schaalbaarheid en gebruiksvriendelijkheid beperkt.

2. Methodologie

Het paper introduceert BBQ (Bounding Box and Qolor), een groot-schaal tekst-naar-afbeelding model dat direct conditioneert op numerieke invoer binnen een gestructureerd tekstframework.

Kernprincipes:

Geen Architecturale Wijzigingen: In tegenstelling tot eerdere werken, vereist BBQ geen wijzigingen in de modelarchitectuur, geen extra loss-functies en geen inferentie-tijd optimalisatie.
Data Augmentatie: De training is gebaseerd op het uitbreiden van bestaande gestructureerde captions (FIBO-stijl) met expliciete numerieke attributen:
- Bounding Boxes: Gedefinieerd als relatieve coördinaten $(x_0, y_0, x_1, y_1) \in (0, 1)^4$ .
- Kleuren: Gedefinieerd als RGB-triplets $c \in [0, 255]^3$ .
Trainingsdata:
- Er wordt gebruikgemaakt van een dataset van 25 miljoen afbeeldingen.
- Voor elke afbeelding wordt een gestructureerde caption gegenereerd.
- Objecten worden gelokaliseerd met SAM2 (voor bounding boxes), diepte geschat met Depth Anything V2, en dominante kleuren geëxtraheerd met Pylette.
- Semantische termen (bijv. "rood") worden vervangen door exacte RGB-waarden en coördinaten.
Training: Het model (gebaseerd op een 8B-parameter FIBO-backbone) wordt getraind met flow-matching objectives. Na de hoofdtraining volgt een esthetische finetuning en DPO-training (Direct Preference Optimization) voor betere tekstweergave.

De "Parametrische Brug" (Inferentie):

Om de kloof tussen korte natuurlijke taalprompts en de complexe gestructureerde JSON-invoer te overbruggen, wordt een Vision-Language Model (VLM), specifiek Qwen-3 VL 4B (fine-tuned), ingezet als tussenlaag. Deze VLM vertaalt:

Generate: Korte prompts naar volledige parametrische JSON.
Refine: Bestaande JSON aanpassen op basis van gebruikersinstructies (bijv. "verplaats het object" of "verander de kleur").
Inspire: Een parametrische beschrijving extraheren uit een referentieafbeelding.

Dit stelt gebruikers in staat om interactief objecten te slepen, te herschalen of kleuren te kiezen via een kleurkiezer, terwijl de rest van het beeld behouden blijft.

3. Belangrijkste Bijdragen

BBQ Model: Een nieuw groot-schaal model dat native numerieke parameters (bounding boxes en RGB) verwerkt zonder architecturale aanpassingen.
Natuurlijke Disentangling: Het model behoudt de "native disentanglement" van de basis (FIBO), wat betekent dat het wijzigen van één parameter (bijv. de locatie van een object) alleen dat specifieke element beïnvloedt zonder de rest van het tafereel te verstoren.
Simpel maar Krachtig Framework: Het bewijs dat precisiebereik haalbaar is puur door data-augmentatie en training, in plaats van complexe engineering tijdens de inferentie.
Gebruikersinterface: Het introduceren van een workflow die onduidelijke prompt-engineering vervangt door precieze, vertrouwde controles (drag-and-drop, kleurkiezers).

4. Resultaten

De evaluatie omvatte kwalitatieve en kwantitatieve tests tegen state-of-the-art baselines (FIBO, Nano Banana Pro, FLUX.2 Pro, GLIGEN, InstanceDiffusion).

Text-as-a-Bottleneck Reconstruction (TaBR):
- BBQ presteerde significant beter dan alle concurrenten bij het reconstrueren van afbeeldingen vanuit captions.
- Win-rate vs. FLUX.2 Pro: 93,3%.
- Dit toont aan dat het toevoegen van numerieke parameters de expressiviteit en trouw aan de originele scène verbetert.
Bounding Box Nauwkeurigheid:
- Op de COCO en LVIS datasets overtrof BBQ zowel algemene modellen (Nano Banana Pro, FLUX.2) als gespecialiseerde grounding-modellen (GLIGEN).
- Het presteerde iets onder de zeer gespecialiseerde InstanceDiffusion, maar zonder de noodzaak van specifieke architecturale wijzigingen of inferentie-tijd aanpassingen.
- BBQ toonde consistente plaatsing van objecten binnen de gespecificeerde boxes, terwijl baselines vaak faalden bij strikte numerieke constraints.
Kleurtrouw (Color Fidelity):
- Gemeten via $\Delta E_{00}$ (CIEDE2000) en de $a-b$ chromaticiteitsafstand.
- BBQ behaalde de laagste fouten in alle statistieken (gemiddeld, mediaan, p90) voor de $a-b$ afstand, wat aangeeft dat het de meest nauwkeurige controle over tint en verzadiging biedt.
- Het model slaagt erin exacte RGB-waarden te reproduceren, zelfs onder realistische belichting.

5. Betekenis en Conclusie

Het paper presenteert een nieuw paradigma voor afbeeldingsgeneratie:

Van Beschrijving naar Programmering: In plaats van te vertrouwen op vage taal, wordt gebruikersintentie vertaald naar een gestructureerde, parametrische tussenlaag die door een flow-based transformer als renderer wordt verwerkt.
Professionele Toepasbaarheid: BBQ maakt tekst-naar-afbeelding modellen geschikt voor professionele workflows die deterministische controle vereisen, zonder de flexibiliteit of kwaliteit van generatieve modellen te offeren.
Toekomstperspectief: De aanpak suggereert een weg naar "programmeerbare" generatieve systemen die kunnen worden uitgebreid met andere precieze attributen, waardoor de kloof tussen creatieve intentie en technische uitvoering wordt overbrugd.

Samenvattend bewijst BBQ dat grote taalmodellen, wanneer getraind op rijk gestructureerde data met numerieke annotaties, in staat zijn om complexe, precieze controle over ruimtelijke en chromatische eigenschappen uit te oefenen, puur via tekstuele conditionering.