Common Inpainted Objects In-N-Out of Context

Titel: Common Inpainted Objects In-N-Out of Context (COinCO)

Auteurs: Tianze Yang, Tyson Jordan, Ruitong Sun, Ninghao Liu, Jin Sun (University of Georgia)

1. Het Probleem

Context is fundamenteel voor visueel begrip; mensen beoordelen instinctief of objecten logisch passen in hun omgeving. Echter, het trainen van machine learning-modellen om contextuele inconsistenties (objecten die "uit hun verband" vallen) te herkennen, is een groot uitdaging.

• Schaarste aan voorbeelden: Bestaande visuele datasets (zoals COCO) bevatten voornamelijk objecten in hun natuurlijke omgeving. Onrealistische of gemanipuleerde scènes met "out-of-context" objecten komen in de echte wereld zelden voor, waardoor er een gebrek is aan trainingsdata voor modellen die deze afwijkingen moeten detecteren.
• Beperkingen van bestaande datasets: Bestaande datasets voor beeldmanipulatie focussen vaak op volledig gegenereerde beelden of vervangen objecten binnen dezelfde categorie, waardoor de context niet echt wordt verstoord. Er ontbreekt een dataset met gecontroleerde, semantisch inconsistente objecten in realistische scènes.

2. Methodologie: De COinCO Dataset

De auteurs introduceren COinCO, een nieuw dataset dat 97.722 unieke afbeeldingen bevat, gegenereerd door objecten in bestaande COCO-afbeeldingen systematisch te vervangen.

• Data Generatie Pipeline:

  • Bron: Gebaseerd op het COCO-dataset (2017), gekozen vanwege de diversiteit aan alledaagse objecten en betrouwbare annotaties.
  • Inpainting: Er wordt één object per afbeelding willekeurig geselecteerd en vervangen met behulp van Stable Diffusion (diffusie-based inpainting).
  • Controle: Om artefacten te minimaliseren, wordt het masker iets vergroot en wordt alpha-blending gebruikt voor naadloze integratie.
  • Validatie: Een objectdetectionmodel (YOLOv8x) verifieert of het nieuwe object succesvol is ingevuld.

• Context Reasoning en Annotatie:

  • Elk ingevuld object wordt geëvalueerd door drie state-of-the-art Large Vision Language Models (LVLMs): Molmo-72B, Qwen2.5-VL-72B en InternVL3.5-38B.
  • De modellen beoordelen het object op drie specifieke criteria:
    1. Locatie: Is de ruimtelijke positie onredelijk?
    2. Grootte: Is de schaal onredelijk ten opzichte van de omgeving?
    3. Co-occurrence: Komt het object logisch voor samen met andere objecten in de scène?
  • Consensus: Alleen afbeeldingen waarbij alle drie de LVLMs overeenstemming bereiken over de classificatie (in-context of out-of-context) worden opgenomen in de gelabelde subset (73.929 afbeeldingen).

3. Belangrijkste Bijdragen

1. Nieuwe Dataset: Een grote schaal dataset met gecontroleerd gemanipuleerde afbeeldingen die zowel contextueel consistente als inconsistente objecten bevat, specifiek ontworpen voor contextuele redenering.
2. Fin-grained Context Reasoning Taak: Een taak die objecten classificeert op basis van de drie bovengenoemde criteria. De auteurs trainen efficiënte "student"-modellen (3B parameters) via knowledge distillation van een grote "teacher" (72B), wat interpretabele en snelle contextclassificatie mogelijk maakt.
3. Objects-from-Context Voorspelling: Een nieuwe taak waarbij het model moet voorspellen welke objecten (op instance- en clique-niveau) logisch passen in een gegeven scène. Dit helpt bij het begrijpen van wat er had moeten staan in gemanipuleerde gebieden.
4. Context-Versterkte Fake Detectie: Het aantonen dat contextuele cues kunnen worden gebruikt om bestaande state-of-the-art (SOTA) methoden voor beeldforensiek te verbeteren zonder dat deze modellen opnieuw hoeven te worden getraind (fine-tuning).

4. Resultaten

• Context Classificatie: De gedistilleerde 3B-modellen presteren aanzienlijk beter na training op COinCO. Op de originele COCO-afbeeldingen (zonder manipulatie) toonden de modellen een verbetering van +37,2% in nauwkeurigheid voor locatie- en grootteredenering, wat aantoont dat ze echte semantische relaties hebben geleerd in plaats van dataset-specifieke patronen.
• Objects-from-Context: Het model presteert aanzienlijk beter dan baselines (willekeurige selectie en co-occurrence-frequenties) bij het voorspellen van objecten die passen bij de context (Top-5 instance-level nauwkeurigheid van 42,80% vs. 6,25% bij random).
• Fake Detectie: Door de voorspellingen van SOTA-fake-detectiemodellen (zoals CAT-Net) te versterken in gebieden die door context-reasoning als "out-of-context" zijn gemarkeerd, wordt de prestatie aanzienlijk verbeterd.
  • Zonder fine-tuning kon de nauwkeurigheid en F1-score worden verhoogd.
  • CAT-Net behaalde de beste prestaties met 92,7% nauwkeurigheid en 76,5% F1-score op de COinCO-testset.

5. Betekenis en Toekomstperspectief

COinCO legt de basis voor geavanceerd contextbewust visueel begrip. De dataset en de bijbehorende methoden bieden:

• Een gecontroleerde testomgeving voor het bestuderen van complexe scène-semantiek.
• Een krachtige tool voor beeldforensiek, waarbij contextuele inconsistenties een aanvullend signaal vormen voor het lokaliseren van gemanipuleerde content.
• Een kader voor intelligente beeldbewerking en contentgeneratie, waarbij modellen kunnen voorspellen wat er logisch in een scène hoort.

De auteurs benadrukken dat context een cruciale, maar vaak onderbenutte cue is voor het detecteren van vervalsingen. Deze work opent de deur voor verdere onderzoek naar open-vocabulary contextredenering en robuustere detectiemodellen voor gemanipuleerde media.