🤖 machine learning

Detect in Any Scene: An Agentic Framework for Object Detection with Experience-Aware Reasoning

Dit artikel introduceert DetAS, een agentisch framework dat een Multimodaal Groot Taalmodel gebruikt om dynamisch adaptieve workflows voor beeldherstel en multi-expert detectie samen te stellen, versterkt door een zelfevoluerend mechanisme voor het oogsten van ervaringen om bestaande detectoren in uitdagende, realistische scenario's aanzienlijk te overtreffen.

Oorspronkelijke auteurs: Wenlun Zhang, Jun Yin, Kentaro Yoshioka

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenlun Zhang, Jun Yin, Kentaro Yoshioka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je specifieke mensen probeert te vinden in een drukke, rommelige kamer. Soms is de kamer mistig, soms is het pikdonker, soms regent het, en soms dragen de mensen vermommingen.

Het probleem met oude detectoren
Traditionele computer vision-systemen zijn als een beveiliger die alleen maar getraind is in een helder, schoon kantoor. Als je die bewaker in een donkere, regenachtige kelder zet, raakt hij in de war. Hij kan mensen missen omdat de verlichting slecht is, of hij kan vastlopen omdat hij alleen weet hoe hij naar "kantoormedewerkers" moet kijken en niet naar "bouwvakkers".

Huidige methoden proberen dit op twee manieren op te lossen:

Gespecialiseerde training: Ze trainen een bewaker specifiek voor "regenachtige dagen" en een andere voor "mistige dagen". Maar als het weer enigszins verandert, of er verschijnt een nieuw type object, faalt de bewaker.
Vaste pipelines: Ze bouwen een machine die altijd eerst de afbeelding schoonmaakt (zoals een fotobewerker) en daarna naar objecten zoekt. Maar soms maakt het schoonmaken van de foto het juist moeilijker om het object te zien (zoals een foto overmatig bewerken totdat gezichten er vreemd uitzien).

De oplossing: DetAS (Detect in Any Scene)
De auteurs stellen een nieuw systeem voor genaamd DetAS. In plaats van een enkele bewaker of een vaste machine, hebben ze een slim team van agenten gecreëerd onder leiding van een "Brein" (een Multimodal Large Language Model). Denk aan dit Brein als een zeer ervaren projectmanager die naar een rommelige situatie kan kijken en direct kan beslissen welke tools hij moet gebruiken.

Zo werkt het team, opgedeeld in drie eenvoudige stappen:

1. Het "Fix-It" Team (Self-Adaptive Image Restoration)

Wanneer het Brein naar een afbeelding kijkt, vraagt het: "Is deze afbeelding moeilijk te zien? Moeten we het repareren?"

De oude manier: Altijd een afbeelding door een "ontmist"- of "verhelder"-filter halen, zelfs als dat niet nodig is.
De DetAS-manier: Het Brein controleert de afbeelding. Als het mistig is, kiest het een "ontmist"-tool. Als het donker is, kiigt het een "verhelder"-tool.
De slimme twist: Soms maakt het repareren van de afbeelding het erger (zoals het vervagen van een gezicht terwijl je regen probeert te verwijderen). Het Brein is slim genoeg om te zeggen: "Eigenlijk ziet dit er prima uit zoals het is," en slaat de reparatie over. Het maakt de afbeelding alleen schoon als het helpt bij de zoektocht.

2. Het "Expert" Team (Multi-Expertise Detection)

Zodra de afbeelding klaar is (of als deze geen reparatie nodig had), gebruikt het Brein niet zomaar één detector. Het heeft een gereedschapskist vol met gespecialiseerde detectives:

Eén detective is geweldig in het vinden van kleine, drukke objecten (zoals vogels in een boom).
Eén is een expert in het vinden van gezichten in het donker.
Eén kent het herkennen van auto's op een snelweg.
Eén is getraind voor onderwaterscènes.

Het Brein bekijkt de scène en zegt: "Dit is een donkere straat met gezichten. Ik roep de Face-in-Dark expert en de General Street expert erbij." Het negeert de onderwater-expert omdat dat een verspilling van tijd zou zijn.

3. De "Scheidsrechter" (Instance Grouping)

Omdat meerdere experts hetzelfde object kunnen opmerken (bijv. de Face-expert en de Street-expert zien allebei een persoon), kunnen hun antwoorden ook iets van elkaar verschillen. Het Brein fungeert als een scheidsrechter. Het bekijkt alle suggesties, groepeert de suggesties die naar dezelfde persoon wijzen, en kiest de beste, meest nauwkeurige beschrijving. Als een expert hallucineert (een persoon ziet waar er eigenlijk geen is), kan het Brein die gok verwerpen.

4. Het "Geheugenboek" (Self-Evolving Experience Harvesting)

Dit is de upgrade naar DetAS-X.
Stel je voor dat het team een fout maakt bij een specifiek type mistige afbeelding. In plaats van het te vergeten, schrijft het systeem een notitie in een Geheugenboek: "Hey, voor dit specifieke soort mist, gebruik de De-haze tool niet; het maakte de boel wazig. Gebruik gewoon de originele afbeelding."

De volgende keer dat het systeem een soortgelijke mistige afbeelding ziet, controleert het eerst het Geheugenboek. Het leert van zijn eerdere beslissingen, wordt slimmer en sneller met elke nieuwe afbeelding die het verwerkt. Het volgt niet alleen een rigide regel; het gebruikt ervaring om betere keuzes te maken.

De Resultaten

Het paper testte dit "Agentic Framework" op zes zeer moeilijke uitdagingen (zoals het vinden van gezichten in het donker, auto's in hevige regen en objecten onder water).

De uitkomst: Het DetAS-X systeem was aanzienlijk beter dan alle andere top AI-modellen die werden getest.
De cijfers: Het verbeterde de detectienauwkeurigheid met gemiddeld 28% over alle tests heen. In de moeilijkste test (het vinden van gezichten in het donker) verbeterde het met 37%.

Samenvattend
In plaats van een computer te dwingen een "one-size-fits-all" detector te zijn, werkt DetAS als een flexibel, denkend team. Het beslist wanneer het de afbeelding moet schoonmaken, kiest de juiste expert voor de klus en leert van zijn fouten uit het verleden om beter te worden. Het verandert objectdetectie van een rigide, kapotte machine in een slimme, aanpasbare agent.

Technische Samenvatting: DetAS – Een Agentic Framework voor Objectdetectie met Ervaringsbewuste Redenering

Probleemstelling

Objectdetectie in realistische scenario's staat voor aanzienlijke uitdagingen door diverse beelddegradaties (bijv. mist, regen, weinig licht, onderwatervervorming) en heterogene objectdistributies. Bestaande benaderingen volgen over het algemeen twee paradigma's, die beide inherente beperkingen vertonen:

Representatieleer (Representation Learning): Deze methoden vertrouwen op gecureerde datasets met vaste degradatietypes en objectcategorieën om gespecialiseerde representaties te leren. Hoewel effectief binnen hun trainingsdomeinen, falen ze in het generaliseren wanneer degradatietypes of scène-distributies licht verschuiven.
End-to-End Pipelines: Deze benaderingen combineren een standaard detector met een specifieke beeldrestauratiemodule. Ze vertrouwen echter op vooraf gedefinieerde restauratiestrategieën en handmatig ontworpen pipelines. Ze missen vaak de flexibiliteit om te bepalen of restauratie noodzakelijk is of welke specifieke restauratie–detectorcombinatie optimaal is voor een gegeven input, wat leidt tot suboptimale prestaties of prestatievermindering wanneer restauratie objectgrenzen of achtergrondkleuren verandert.

Consequent worstelen traditionele closed-vocabulary detectoren met het aanpassen aan dynamisch veranderende realistische omgevingen waar een enkele statische pipeline niet gelijktijdig verschillende omgevingscondities en objectdistributies kan afhandelen.

Methodologie

Het artikel stelt DetAS (Detect in Any Scene) voor, een agentic framework dat objectdetectie herformuleert als een dynamisch besluitvormingsproces. In plaats van een statische pipeline gebruikt DetAS een Multimodal Large Language Model (MLLM) als centrale agent om workflows adaptief samen te stellen door te selecteren uit een gereedschapskist van restauratiemodules en gespecialiseerde detectoren.

Het framework bestaat uit drie kerncomponenten:

1. Zelf-adaptieve Beeldrestauratie (SAIR)

SAIR bepaalt dynamisch of en hoe een afbeelding verbeterd moet worden vóór detectie.

Scèneperceptie: Een LLM-perceptiemodule analyseert de invoerafbeelding om een degradatie-bewust scèneprofiel te voorspellen (bijv. normaal, mist, regen, onderwater, weinig licht, ruis).
Tool Selectie: Op basis van het voorspelde label selecteert SAIR een bijbehorende restauratietool (bijv. ontmisting, ontregenning, ruisonderdrukking, helderheidsverbetering) uit een pool.
Afbeeldingsselectiemechanisme: Cruciaal is dat SAIR de originele afbeelding vergelijkt met de gerestaureerde versie. Het selecteert de versie die detectie-georiënteerde cues maximaliseert (objectzichtbaarheid, grensscherpte, structurele integriteit) in plaats van visuele esthetiek. Als restauratie de detectieprestaties verslechtert, wordt de originele afbeelding behouden.
Super-Resolutie (SR): Een laatste SR-stap wordt toegepast om de ruimtelijke resolutie te verhogen voor kleine of verre objecten, waarbij de opschalingsfactor automatisch wordt geselecteerd op basis van een doelresolutie.

2. Multi-Expertise Detectie (MED)

MED integreert meerdere domeinspecifieke detectoren om diverse objectdistributies te behandelen.

Detector Pool: Het systeem onderhoudt een pool van detectoren met diverse expertise, waaronder algemene, dichte/kleine objecten, autonoom rijden, drone-perspectief, onderwater en gezichtsdetectoren.
Adaptieve Selectie: Gegeven de inhoud van de afbeelding en een doelcategorie-lijst, selecteert de LLM-agent de top- $K$ meest geschikte detectoren uit de pool.
Instantie Groepering: Om dubbele voorspellingen van meerdere detectoren op te lossen, worden kandidaat-bounding boxes gegroepeerd op basis van ruimtelijke overlap (IoU) en visuele gelijkenis van uitgesneden regio's.
Instantie-niveau Redenering: Voor elke gegroepeerde instantie extraheert het systeem de regio en biedt deze aan de LLM voor de uiteindelijke besluitvorming. Dit stelt de LLM in staat zich op specifieke objecten te concentreren, illusoir foutieve voorspellingen af te wijzen en de beste bounding box–label paren te selecteren, wat de efficiëntie van tokens en de nauwkeurigheid voor kleine objecten verbetert.

3. Zelf-evoluerende Ervaringswinning (SEEH)

Om de starheid van regelgebaseerde beslissingen aan te pakken en fijnmazige beeldkenmerken vast te leggen, wordt het framework uitgebreid naar DetAS-X via SEEH.

Ervaring Verzamelen: Vóór implementatie voert het systeem exploratieve runs uit op een kleine set geannoteerde data. Het legt node-level besluitresultaten vast (restauratie selectie, SR selectie, detector selectie) en de bijbehorende prestatie-indicatoren (bijv. F1-scores) voor specifieke scèneprofielen.
Ervaring Ophalen: Tijdens de inferentie genereert het systeem een fijnmazige profielsleutel voor de invoerafbeelding. Het bevraagt het ervaringengeheugen om de top- $K$ meest vergelijkbare historische profielen en de bijbehorende optimale beslissingen op te halen.
Ervaringsbewuste Redenering: De LLM-agent gebruikt deze opgehaalde historische ervaring samen met de huidige visuele bewijslast om meer geïnformeerde beslissingen te nemen, waardoor het systeem zijn beleid progressief kan verfijnen en kan adapteren aan diverse scenario's zonder hertraining.

Belangrijkste Bijdragen

Agentic Detectie Framework (DetAS): Een nieuw framework dat detectie formuleert als een dynamisch besluitvormingsproces, waarbij een MLLM-agent adaptief restauratietools en gespecialiseerde detectoren selecteert (SAIR en MED) in plaats van te vertrouwen op vaste pipelines.
Ervaringsbewuste Redenering (DetAS-X): De introductie van Self-Evolving Experience Harvesting (SEEH), die node-level beslissingservaringen verzamelt uit een kleine set geannoteerde data. Dit stelt het systeem in staat om te leren van eerdere observaties en de beslissingskwaliteit onder fijnmazige condities te verbeteren.
Uitgebreide Evaluatie: Uitgebreide experimenten tonen aan dat het voorgestelde framework bestaande MLLM-gebaseerde detectoren aanzienlijk overtreft op zes uitdagende benchmarks die diverse degradaties bevatten.

Experimentele Resultaten

Het framework werd geëvalueerd op zes benchmarks: HazyDet (mistige drone-scènes), MARIS (onderwater), DarkFace (gezichten bij weinig licht), B-Night en B-Rainy (BDD100K subsets), en COCO (standaard detectie).

Prestatiewinst: DetAS-X behaalde een gemiddelde verbetering van 28,36% in F1-score over de zes datasets vergeleken met bestaande MLLM-baselines.
Specifieke Verbeteringen: Opmerkelijke winsten werden waargenomen in uitdagende condities, met een verbetering van 37,01% op de DarkFace-dataset voor gezichtsdetectie bij weinig licht.
Vergelijking: Terwijl baseline MLLM's (bijv. Qwen3-VL-8B, GPT-4.1) moeite hadden met zware degradaties (vaak F1-scores onder de 10% op specifieke gedegradeerde datasets), behaalde DetAS-X consistent hoge prestaties (bijv. 44,98% op DarkFace, 52,35% op HazyDet).
Ablatie-studies: Het verwijderen van SAIR of MED veroorzaakte significante prestatiedalingen (bijv. F1 op DarkFace daalde van 44,98% naar 25,84% zonder SAIR). Het optimale aantal geselecteerde detectoren ( $K$ ) bleek 2 te zijn; het verhogen daarboven leidde tot lichte degradatie door out-of-domain foutieve voorspellingen.

Betekenis en Claims

Het artikel beweert dat DetAS een solide basis legt voor agentic detectie, en aantoont dat dynamische, input-bewuste besluitvorming superieur is aan statische pipelines voor robuuste objectdetectie in complexe en dynamische omgevingen.

Paradigmaverschuiving: Het werk suggereert dat robuustheid onder diverse degradaties vereist dat er adaptieve redenering plaatsvindt in plaats van alleen verbeterde representaties of vaste restauratiepipelines.
Schaalbaarheid: De modulaire aard van het framework maakt de integratie van aanvullende tools en detectoren mogelijk om bredere toepassingen te ondersteunen, zoals medische beeldvorming of infrarooddetectie, hoewel deze niet expliciet in het huidige werk zijn verkend.
Toekomstig Potentieel: De auteurs stellen dat naarmate de MLLM grounding-capaciteiten verbeteren, de beperkingen van MLLM-gebaseerde detectoren in vaste-scène settings zullen afnemen, wat de validatie van agentic detectie als een veelbelovend paradigma voor schaalbare real-world implementatie verder versterkt.

De auteurs merken op dat de code bij acceptatie open-source zal worden gemaakt.