Hospitality-VQA: Decision-Oriented Informativeness Evaluation for Vision-Language Models

Dit artikel introduceert Hospitality-VQA, een nieuwe dataset en evaluatieframework voor informativiteit, om te onderzoeken hoe Vision-Language Models beslissingsgerelateerde vragen over hotelvoorzieningen kunnen beantwoorden en hoe domeinspecifieke finetuning de bruikbaarheid van deze modellen verbetert.

De kern

Stel je voor dat je op vakantie wilt gaan. Je tikt een app open om een hotel te boeken. Wat doe je dan? Je kijkt niet eerst naar de lange tekstbeschrijvingen; je scrolt door de foto's. Je zoekt naar een kamer die er gezellig uitziet, een badkamer die schoon is, en een uitzicht dat je laat dromen. Die foto's zijn je enige raam naar de toekomstige vakantie.

Maar hier is het probleem: de slimme computers (kunstmatige intelligentie) die deze foto's moeten begrijpen, zijn vaak net als een toerist die voor het eerst in een stad aankomt. Ze kunnen vertellen: "Oh, ik zie een bed en een raam." Maar ze kunnen niet vertellen: "Is dit bed groot genoeg voor twee volwassenen? Is het uitzicht op de stad of op een muur? Ziet de kamer eruit alsof je er echt kunt slapen, of is het een leeg doosje?"

Dit onderzoek, genaamd Hospitality-VQA, probeert precies dit gat te dichten. Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: "Wat zie je?" vs. "Is dit handig?"

Tot nu toe waren slimme foto-beschrijvers getraind op algemene vragen.

• De oude manier: "Wat is de kleur van de muur?" (Antwoord: Blauw).
• De nieuwe manier (zoals in dit onderzoek): "Kan ik hier mijn koffer kwijt en heb ik genoeg licht om te lezen?"

De onderzoekers zeggen: "Voor een vakantieganger is de kleur van de muur niet zo belangrijk als of de ruimte werkbaar is." Ze noemen dit Informativiteit. Een foto is pas echt "informatief" als hij je helpt een beslissing te nemen.

2. De Oplossing: Vier Meetlatjes voor een Goede Foto

Om te meten of een foto goed genoeg is voor een boeking, hebben de onderzoekers vier specifieke "meetlatjes" (of assen) bedacht. Denk hierbij aan een inspecteur die een huis controleert:

1. Ruimtelijke Duidelijkheid (Spatial Legibility): Zie je de vloer, de muren en het plafond? Of is het een vaag close-up van een kussen? Je moet de "ruimte" kunnen zien, net als wanneer je een kamer binnenloopt.
2. Activiteit-mogelijkheden (Activity Affordance): Zie je dingen die je kunt doen? Een bureau om aan te werken, een stoel om op te zitten, of een kast om kleding in te hangen? Als je alleen een bed ziet, is dat goed om te slapen, maar wat als je wilt werken?
3. Contextuele Openheid (Contextual Openness): Zie je ook wat er buiten de kamer gebeurt? Is er een raam met uitzicht, of zit je in een donkere kelder? Dit meet of de foto je een gevoel van de omgeving geeft.
4. Geometrische Volledigheid (Geometric Completeness): Zie je het hele gebouw? Bij een hotelvoorkant wil je weten of het een klein huisje is of een groot complex. Zie je het dak en de zijkant, of alleen de deur?

3. De Nieuwe Test: Hospitality-VQA

De onderzoekers hebben een enorme verzameling van 5.000 foto's van hotels en faciliteiten gemaakt. Ze hebben deze foto's niet zomaar geannoteerd, maar ze hebben er vragen bij bedacht die precies gaan over die vier meetlatjes.

• Voorbeeldvraag: "Hoeveel werkplekken zijn er zichtbaar in deze kamer?"
• Voorbeeldvraag: "Is het uitzicht op de stad of op de natuur?"

Dit is hun nieuwe "examen" voor slimme computers.

4. Wat Vonden Ze? (De Verassing)

Ze hebben de slimste computers van dit moment (zoals GPT-4o, Gemini, en andere AI-modellen) dit examen laten doen.

• Het slechte nieuws: De AI's waren heel goed in het zeggen "Dit is een hotelkamer" (90%+ score). Maar toen ze moesten zeggen of de kamer handig was voor een gast, faalden ze vaak. Ze zagen de details niet die voor een mens belangrijk zijn. Ze waren alsof iemand die een boek kan lezen, maar niet begrijpt wat erin staat.
• Het goede nieuws: Toen ze de AI's een beetje "bijles" gaven met hun eigen dataset (een soort trainingssessie), werden ze plotseling veel beter. Ze leerden dat ze niet alleen naar objecten moesten kijken, maar naar de functie van de ruimte.

Conclusie: Waarom is dit belangrijk?

Stel je voor dat je een app hebt die automatisch de beste foto's voor een hotel selecteert.

• Voor jou (de reiziger): Je ziet foto's die je echt vertellen of je er comfortabel zult zijn, in plaats van mooie, maar misleidende plaatjes.
• Voor het hotel: Ze weten precies welke foto's ze moeten uploaden om gasten aan te trekken.

Kortom: Dit onderzoek maakt slimme computers niet alleen "slimmer" in het zien van dingen, maar "wijzer" in het begrijpen van wat mensen nodig hebben om een goede keuze te maken. Het is de overstap van "Ik zie een raam" naar "Dit raam biedt een prachtig uitzicht voor een ontbijt".

Technische samenvatting

Probleemstelling

Hoewel Vision-Language Models (VLM's) indrukwekkende prestaties leveren in algemene domeinen, blijft hun toepasbaarheid in beslissingsgerichte domeinen, zoals de hospitality-sector (hotels en faciliteiten), onvoldoende onderzocht. Bestaande VQA-benchmarks (Visual Question Answering) focussen voornamelijk op feitelijke juistheid (bijv. "Is er een raam?"), maar missen de nuance van wat gebruikers daadwerkelijk nodig hebben om een boeking te maken.

In de hospitality-sector bepalen visuele indrukken (indeling, uitzicht, licht, netheid) vaak de keuze van de gast meer dan tekstuele beschrijvingen. Bestaande methoden falen echter in het interpreteren van de interactie tussen ruimtelijke organisatie en functionele semantiek. Een generieke vraag als "Wat zie je in deze afbeelding?" levert te vage antwoorden op die geen inzicht geven in of een ruimte geschikt is voor gastactiviteiten. Er is een behoefte aan een evaluatieframework dat zich richt op informativiteit: hoeveel besluit-relevante informatie een beeld-vraagpaar biedt.

Methodologie

1. Het Framework: Hospitality Informativeness

De auteurs introduceren een formeel framework om "informativiteit" te kwantificeren. Ze definiëren vier fundamentele visuele assen die beslissingen beïnvloeden:

• Spatial Legibility (SL): De mate waarin de ruimtelijke indeling (vloer, muren, plafond) duidelijk is en het volume van de ruimte onthult.
• Activity Affordance (AA): Het aantal functionele objecten die specifieke gastactiviteiten mogelijk maken (bijv. werkplekken, zitmeubels), gefilterd op decoratieve elementen.
• Contextual Openness (CO): De verhouding van niet-faciliteitselementen (zoals lucht, natuur, achtergrond) om te beoordelen of het uitzicht geblokkeerd of te ver weg is.
• Geometric Completeness (GC): De zichtbaarheid van de drie canonieke vlakken van een gebouw (voorkant, zijkant, dak) om de 3D-integriteit te beoordelen.

Deze assen worden toegepast op verschillende faciliteitstypes (bijv. Kamerinterieur, Buitenfaciliteit, Accommodatie-exterieur). Voor kamerinterieurs worden twee extra semantische attributen toegevoegd: View Type en Room Type.

2. Dataset Constructie: Hospitality-VQA

Om dit framework te testen, hebben de auteurs de Hospitality-VQA dataset samengesteld:

• Bron: 5.000 afbeeldingen willekeurig geselecteerd van Yanolja (een grote hospitality-platform).
• Annotatie: Vijf annotatoren hebben de afbeeldingen gelabeld volgens het informativiteitsframework. Er werd gebruikgemaakt van een strikt consensusprotocol (minimaal 4 van 5 akkoord) om de "ground truth" vast te stellen.
• Opbouw: De dataset bevat hiërarchische labels (hoofdfaciliteit en sub-faciliteit) en kwantitatieve labels voor de vier assen.
• Vragen: Op basis van deze labels zijn 19.729 instructie-antwoordparen gegenereerd met vaste templates, specifiek ontworpen om beslissingsrelevante vragen te stellen in plaats van algemene beschrijvingen.

3. Experimenten

De auteurs hebben acht state-of-the-art VLM's geëvalueerd (zowel gesloten API-modellen als open-weight modellen):

• Modellen: GPT-5, GPT-4o-mini, Gemini 2.5 Pro, GLM-4.1V, Qwen2.5-VL (3B/7B), LLaVA-NeXT, en Gemma-3.
• Twee evaluatiemodi:
  1. Zero-shot: Directe evaluatie zonder aanpassing.
  2. Domain Adaptation: Fine-tuning van de Qwen-modellen (3B en 7B) met LoRA op de Hospitality-VQA dataset om de modellen te trainen op de specifieke classificatietaken.
• Meting: Exact-match nauwkeurigheid op classificatietaken (bijv. "Hoeveel vlakken zijn zichtbaar?" of "Wat is het type kamer?").

Belangrijkste Resultaten

1. Prestatieverschil tussen Fact en Besluit:

   • Modellen presteren goed op faciliteitsherkenning (bijv. "Is dit een kamer?" of "Wat voor type faciliteit is dit?"), met nauwkeurigheden vaak boven de 90%.
   • De prestaties dalen echter drastisch bij informativiteitsassen (SL, AA, CO, GC). Veel modellen scoren onder de 20-30% op taken zoals Activity Affordance en Geometric Completeness. Dit toont aan dat VLM's niet van nature "beslissingsbewust" zijn; ze herkennen objecten, maar interpreteren hun functionele waarde voor een gast niet goed.

2. Effect van Domain Adaptation:

   • Lichte fine-tuning (LoRA) leidt tot aanzienlijke verbeteringen.
   • Bijvoorbeeld: Voor Qwen2.5-VL-7B steeg de nauwkeurigheid op Spatial Legibility van 43,88% naar 97,12% en op Geometric Completeness van 5,88% naar 32,35%.
   • De grootste winst werd geboekt bij fijnmazige taken (sub-faciliteit en assen), wat aantoont dat het dataset een effectief signaal biedt om VLM's te alignen met domeinspecifieke behoeften.

3. Modelfamilie Trends:

   • Propriëtaire modellen (zoals GPT-4o-mini en Gemini 2.5 Pro) presteren over het algemeen beter dan open-weight modellen in zero-shot setting, maar zelfs de beste modellen worstelen met de fijnmazige redenering zonder domeinspecifieke training.

Bijdragen

1. Formalisatie van Informativiteit: Het paper introduceert een gestructureerd framework met vier interpreteerbare assen om visuele informatie in de hospitality-sector te kwantificeren.
2. Hospitality-VQA Dataset: De creatie van een nieuwe benchmark die specifiek is ontworpen voor beslissingsgerichte visuele redenering, met expert-geannoteerde data over diverse faciliteitstypes.
3. Empirisch Bewijs: Een uitgebreide evaluatie die aantoont dat huidige VLM's niet intrinsiek geschikt zijn voor hospitality-beslissingen, maar dat lichte domeinadaptatie leidt tot meetbare en significante verbeteringen.

Betekenis en Toekomstperspectief

Dit werk vult een kritieke lacune tussen algemene visuele begrip en de specifieke eisen van de hospitality-industrie. Het bewijst dat voor toepassingen zoals boekingplatforms, het niet genoeg is om te weten wat er in een kamer staat; het systeem moet begrijpen hoe de indeling de gastervaring beïnvloedt.

De resultaten suggereren dat:

• B2C-toepassingen: Platforms kunnen betere afbeeldingen selecteren of genereren die de "informativiteit" maximaliseren, wat leidt tot hogere boekingspercentages.
• B2B-toepassingen: Eigendomsbeheerders kunnen hun afbeeldingen optimaliseren op basis van objectieve criteria voor gastenwaarde.
• Onderzoek: Het biedt een fundament voor toekomstig onderzoek in domeinbewust representatieleer, prompt-optimalisatie en test-tijd redenering voor multimodale AI in de hospitality.

De auteurs erkennen beperkingen, zoals het gebrek aan esthetische kwaliteiten (sfeer, emotie) in het huidige framework en het feit dat de evaluatie alleen op statische afbeeldingen is gebaseerd, zonder rekening te houden met reviews of prijsinformatie. Desalniettemin vormt Hospitality-VQA een essentiële stap naar betrouwbare, beslissingsondersteunende AI in de toerisme-sector.