Technische Samenvatting: Belichaamde Actieve Leertijd onder Beperkte Annotatie- en Navigatiebudgetten voor Objectdetectie

Probleemstelling

Robotische objectdetectie (OD) systemen hebben vaak moeite wanneer ze worden ingezet in nieuwe, onbekende omgevingen vanwege domeinverschuivingen, variaties in verlichting en ondervertegenwoordigde objectklassen. Hoewel fundamentele modellen krachtige priors bieden, zijn ze computationeel duur voor real-time robotische inzet en imperfect voor specifieke, zeldzame of domeinspecifieke objecten. Bovendien is het finetunen van detectoren evenredig duur vanwege de afhankelijkheid van menselijke annotatie.

Dit artikel behandelt de uitdaging om een computer vision objectdetector aan te passen aan een onbekende omgeving onder dubbele beperkingen:

1. Beperkt Navigatiebudget: De robot heeft een beperkt aantal stappen om de omgeving te verkennen en kandidaat-beelden te verzamelen.
2. Beperkt Annotatiebudget: De robot kan slechts een klein deel van de verzamelde beelden om menselijke (of oracle) labels vragen.

De kernonderzoeksvragen zijn: Hoe kan een robot zijn visiemodel aanpassen onder deze beperkingen? Welke scoremethode identificeert de meest informatieve beelden zonder externe supervisie? En welke navigatiestrategie lokaliseert de moeilijkst te detecteren objecten?

Methodologie

De auteurs stellen een Embodied Active Learning raamwerk voor, geformuleerd als een batch active learning variant. Het proces werkt in iteratieve rondes, die elk uit vier fasen bestaan: collectie, selectie, hertraining en optionele evaluatie.

1. Voorspellingsdiscrepantie ($\Delta$)

De centrale innovatie is een heuristische scoremetric genaamd Prediction Discrepancy (voorspellingsdiscrepantie). In plaats van te vertrouwen op entropie of de beschikbaarheid van grondwaarheid (ground-truth), schat deze metric de onzekerheid van het model door de onenigheid tussen opeenvolgende voorspellingen te meten.

• Mechanisme: Wanneer een agent beweegt van staat $s$ naar $s'$, berekent de methode het symmetrisch verschil tussen de sets van voorspelde objectklassen in het overlappende gebied van de twee frames.
• Berekening: $\Delta = |C_s \cup C_{s'}| - |C_s \cap C_{s'}|$, waarbij $C$ de lijst van klassen vertegenwoordigt die beperkt is tot het overlappende gebied.
• Betekenis: Een hoge $\Delta$ geeft aan dat de voorspelling van het model aanzienlijk verandert tussen verschillende gezichtspunten (bijv. het detecteren van een object in één frame maar het missen ervan in het volgende), wat wijst op een potentieel foutgeval zonder dat grondwaarheid-labels nodig zijn.

2. Adaptieve Navigatieagent

Om de collectie van informatieve samples te maximaliseren onder een beperkt navigatiebudget, gebruiken de auteurs een online optimalisatiealgoritme met behulp van pad-bewuste Bayesiaanse Optimalisatie (BO).

• Surrogaatmodel: Een Random Forest regressor schat de Prediction Discrepancy voor niet-bezochte staten op basis van de collectiebuffer.
• Acquisitiefunctie: De agent gebruikt een Upper Confidence Bound (UCB) strategie om exploratie en exploitatie in balans te houden. Het selecteert een bestemming die de gemiddelde optimistische schatting van $\Delta$ langs het kortste pad (berekend via gewogen A*) maximaliseert.
• Padgewichten: De randgewichten in de planningsgraaf zijn ontworpen om beweging naar gebieden met hoge onzekerheid te stimuleren, terwijl het herbezoeken van reeds verkende locaties wordt afgestraft.

3. Dataselectiestrategie

Het selectieproces volgt een tweestapsbenadering aangepast van PPAL [36]:

1. Difficulty Sampling: Uit de verzamelde buffer worden de top $3 \times A$ samples met de hoogste Prediction Discrepancy geselecteerd.
2. Diversity Sampling: Deze kandidaten worden gegroepeerd met behulp van Class Conditioned Matching Similarity (CCMS). De zwaartepunten van $A$ clusters worden geselecteerd voor annotatie.

• Behandeling van beperkingen: De selectie waarborgt diversiteit en vermijdt expliciet het opnieuw selecteren van samples die te veel lijken op eerder geannoteerde data.

4. Oracle en Hertraining

Geselecteerde afbeeldingen worden geannoteerd door een "oracle". In simulaties is dit de grondwaarheid; in real-world experimenten is dit een semi-geautomatiseerde pipeline gebruikmakend van een vision-language foundation model (OWLv2) gevolgd door menselijke correctie. De detector wordt opnieuw getraind op de geaccumuleerde geannoteerde buffer, en voorspellingen in de collectiebuffer worden bijgewerkt om de nieuwe modelstatus te reflecteren.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs definiëren visuele modeladaptatie als een embodied batch active learning probleem met strikte limieten op zowel navigatie- als annotatieresources.
2. Prediction Discrepancy Score: Zij introduceren een nieuwe, ongesuperviseerde scoremethode die gebruikmaakt van ruimtelijke consistentie (of het gebrek daaraan) om model-foutgevallen te identificeren en zowel navigatie als beeldselectie te sturen.
3. Adaptief Navigatiebeleid: Zij ontwikkelen een pad-bewuste Bayesiaanse optimalisatiestrategie die de robot naar regio's met een hoge voorspellingsdiscrepantie stuurt, wat effectief fungeert als een intrinsiek nieuwsgierigheidssignaal.
4. Empirische Validatie: De aanpak wordt geëvalueerd in twee settings:
   • Simulatie: Gebruikmakend van de AI2-THOR/ProcTHOR dataset met YOLOv5-modellen van verschillende groottes.
   • Real-World: Gebruikmakend van een Boston Dynamics Spot robot in een binnenomgeving met een semi-geautomatiseerde labelingspipeline.

Experimentele Resultaten

Simulatie (AI2-THOR)

• Scoringmethoden: De Prediction Discrepancy methode presteerde consequent beter dan baselines (Entropy, Count, Random) in termen van mean Average Precision (mAP50) over alle modelgroottes (S, M, L). Het benaderde de prestaties van een "Oracle" baseline (die grondwaarheid gebruikt om moeilijke klassen te selecteren) maar zonder grondwaarheid te vereisen tijdens de selectiefase.
• Data-eigenschappen: Samples geselecteerd door Prediction Discrepancy waren uitdagender voor het model (lagere F1 op geannoteerde samples) en vertoonden een hogere klasse-distributie-entropie, wat duidt op een betere dekking van diverse objectklassen vergeleken met andere methoden.
• Navigatie: De adaptieve navigatieagent gestuurd door Prediction Discrepancy bereikte aanzienlijk betere leerprogressie over de tijd vergeleken met Frontier-Based Exploration (FBE), Sweep, en Random walk baselines.

Real-World (Boston Dynamics Spot)

• Prestaties: In een echte binnenomgeving presteerde Prediction Discrepancy opnieuw beter dan de Entropy, Count en Random baselines.
• Efficiëntie: De methode gaf prioriteit aan moeilijke samples terwijl er minder totale objectannotaties nodig waren vergeleken met de Count en Entropy-gebaseerde methoden.
• Gap-analyse: Het prestatieverschil tussen de voorgestelde methode en Random selectie was kleiner in de real-world setting dan in simulatie, toegeschreven aan de eenvoudigere single-room opzet en het kleinere budget, maar het voordeel bleef consistent.

Betekenis en Claims

Het artikel beweert dat ruimtelijke inconsistentie dient als een robuust, ongesuperviseerd signaal om belichaamde agenten te sturen. Door gebruik te maken van Prediction Discrepancy kan het systeem autonoom zijn eigen foutgevallen identificeren en targeten, waardoor het de hoogste detectie-accuratesse bereikt onder dezelfde resourcebeperkingen als andere methoden.

De auteurs benadrukken dat deze aanpak de kloof overbrugt tussen niet-interactieve active learning en belichaamde active learning. Het demonstreert dat robots hun visuele modellen autonoom kunnen aanpassen aan nieuwe omgevingen door interactie, waardoor de afhankelijkheid van dure, vooraf verzamelde datasets of uitgebreide handmatige annotatie wordt verminderd. Het werk suggereert dat expliciete supervisie niet strikt noodzakelijk is om informatieve samples te identificeren als de agent de temporele en ruimtelijke consistentie van zijn eigen voorspellingen kan exploiteren.

De auteurs blijven bescheiden over toekomstig werk en merken op dat het expliciet schatten van klasse-moeilijkheidsgraad en leerprogressie de prioritering verder zou kunnen verbeteren, en dat toekomstige iteraties mogelijk domein-agnostische pretraining en zelfgesuperviseerde adaptatie kunnen verkennen om de afhankelijkheid van oracle-annotatoren verder te verminderen.