Domain-Grounded Candidate Selection for Agentic Image Editing: A Shadow Removal Case

Technische Samenvatting: Domein-gegronde Kandidaatselectie voor Agentische Beeldbewerking

Probleemstelling
Het paper onderzoekt de rol van klassieke, natuurkundig geïnformeerde low-level visie in het tijdperk van commerciële visie-taal en generatieve bewerkingsmodellen. Hoewel deze algemene modellen, getraind op internet-schaal data, beschikken over brede visuele priors die in staat zijn tot het produceren van fotorealistische bewerkingen, missen zij een expliciet begrip van fysische verschijnselen. De auteurs gebruiken schaduwverwijdering als een casus om deze kloof te verkennen. Schaduwverwijdering is inherent complex en hangt af van scènegeometrie, verlichting, materialen en occluders, waarbij gepaard gaande schaduwvrije trainingsdata moeilijk op grote schaal te verzamelen zijn.

Het kernprobleem dat wordt geïdentificeerd, is dat hoewel commerciële editors in staat zijn om schaduwvrije afbeeldingen te produceren, ze lijden aan een specifieke foutmodus: zonder een fysisch model van schaduwvorming kunnen ze schaduwen behandelen als materiaaleigenschappen of objectstructuren. Dit leidt tot "hallucinaties" waarbij de editor scènecontent regenereert, nieuwe objecten verzint, of verminderde verlichting interpreteert als geometrie, wat resulteert in bewerkingen die visueel plausibel maar fysisch incorrect zijn.

Methodologie
De auteurs stellen een agentische kandidaat-selectiepipeline voor die gebruikmaakt van een commerciële generatieve editor als een stochastische kandidaatgenerator en een multimodale evaluator als controller. Het proces is gegrond in de fysica van schaduwvorming (schaduwen als verlichtingseffecten veroorzaakt door lichtocclusie, niet als materiaaleigenschappen).

De pipeline werkt via de volgende stadia:

1. Guided Probe: Het systeem genereert een initiële bewerking op basis van de invoerafbeelding, de schaduwmasker en de instructie.
2. Major-Failure Evaluation: Een multimodale evaluator screent de probe op ernstige fouten, zoals het behouden van de schaduw als een donkere, objectachtige structuur of het hallucineren van semantische content.
3. Conditional Retry & Sampling:
   • Als de probe slaagt, samplet het systeem twee aanvullende geleide kandidaten.
   • Als de probe faalt, genereert het systeem drie "retry" kandidaten met behulp van feedback van de evaluator.
4. Candidate Filtering: Alle kandidaten worden opnieuw geëvalueerd door de major-failure evaluator.
   • Final Selection: Een selector kiest de uiteindelijke output. Als meerdere kandidaten slagen, balanceert het tussen schaduwverwijdering en scènebehoud; als één kandidaat slaagt, wordt deze geselecteerd; als er geen enkele slaagt, selecteert een fallback de "minst slechte" optie.

Kerninnovatie: Schaduwvorming-Gronding
Een cruciaal onderdeel van de methode is het gebruik van fysica-georiënteerde prompting. De auteurs vergelijken twee instellingen:

• Generic: Directe instructies om schaduwen te verwijderen en de scène te behouden.
• Physics-Oriented: Instructies die expliciet definiëren dat schaduwen "verlichtingseffecten veroorzaakt door lichtocclusie" zijn, in plaats van materiaal- of objectstructuren. Deze gronding wordt toegepast op zowel de generator als de evaluator, waardoor het systeem wordt gestuurd om verminderde verlichting te verwijderen terwijl de scène lay-out, grenzen en materiaale appearance behouden blijven.

Resultaten
De methode werd geëvalueerd op de ShadowRemovalRefine (SRR) benchmark, die 399 real-world afbeeldingen bevat. De primaire metriek die wordt gebruikt is Color Distribution Difference (CDD), waarbij lagere waarden duiden op betere schaduwverwijdering en randconsistentie.

• Kwantitatieve Prestaties: De fysica-georiënteerde pipeline ("Ours-Physics") bereikte een gemiddelde CDD van 0.0075 (gerapporteerd als 7.45 in de tabel met $10^3$ schaling). Dit vertegenwoordigt een reductie van ten minste 47% vergeleken met de sterkste eerdere methode (SRR [5], gemiddelde CDD 0.01406).
• Ablatie-studies:
  • De kandidaat-selectiepipeline (probing, retry, filtering, selectie) verbeterde de betrouwbaarheid aanzienlijk ten opzichte van single-shot generatie.
  • De fysica-georiënteerde gronding leverde consistente winsten op ten opzichte van de generieke agentische variant, waarbij zowel de gemiddelde CDD als de standaarddeviatie werden verbeterd.
• Kwalitatieve Resultaten: De methode verwijdert consistenter dominante schaduwregio's en onderdrukt randartefacten vergeleken met eerdere methoden (SID, ShadowFormer, ShadowDiffusion, etc.), die vaak residuele schaduwen of uitgewassen oppervlakken achterlaten.

Beperkingen
De auteurs erkennen dat hoewel de pipeline de randconsistentie verbetert, het niet perfect de gehele niet-schaduw scène behoudt. Generatieve bewerking kan verschijningsveranderingen introduceren buiten het doelmasker (bijv. kleurtoonveranderingen, oppervlakte-smoothing) en kan visueel verstrengelde donkere geometrische regio's modificeren.

Betekenis en Claims
Het paper concludeert dat commerciële visie-taalmodellen de klassieke low-level visie priors niet overbodig maken. In plaats daarvan veranderen deze modellen de rol van low-level visie: van het modelleren van een fenomeen end-to-end naar het beperken en sturen van fysisch ondergedetermineerde generatoren.

De betekenis van het werk ligt in het aantonen dat:

1. Algemene generatieve editors de prestaties van taakspecifieke restauratiemodellen kunnen evenaren wat betreft textuurbehoud, maar fysieke gronding vereisen om hallucinaties te voorkomen.
2. Een agentische pipeline die eenvoudige fysische definities (schaduwvorming) integreert in zowel generatie als evaluatie, state-of-the-art resultaten kan bereiken zonder een nieuw taakspecifiek model te trainen.
3. Domein-gegronde kandidaatselectie een levensvatbare strategie is om stochastische generatieve modellen betrouwbaar te maken voor fysisch beperkte taken.