CAAL: Contextual Bandits based Online Hand-Craft Active Learning Strategy Selection

Technische Samenvatting: CAAL – Contextual Bandits gebaseerde Online Hand-Crafted Active Learning Strategie Selectie

Probleemstelling
Active learning (AL) beoogt de inspanning voor het labelen te minimaliseren terwijl de modelprestaties sterk blijven. Traditionele benaderingen vertrouwen op handmatige strategieën (bijv. onzekerheidssampling, diversiteitssampling) die uitgaan van specifieke statistische eigenschappen van ongelabelde data. De optimale strategie is echter vaak vooraf niet bekend en varieert per dataset. Bestaande adaptieve frameworks proberen meerdere strategieën te combineren met behulp van adversarial bandit-methoden (bijv. ALBL). Hoewel deze methoden robuustheid bieden, zijn ze vaak te conservatief en behouden ze een constante exploratiesnelheid, wat kan resulteren in prestaties die vergelijkbaar zijn met willekeurige selectie. Bovendien zijn veel recente deep active learning-benaderingen minder geschikt voor tabulaire data, die de industriële toepassingen domineren, aangezien deep models vaak onderpresteren vergeleken met boom-gebaseerde of lineaire modellen op dergelijke data. Daarnaast richten de meeste adaptieve methoden zich op single-sample selectie, terwijl industriële behoeften in de echte wereld vaak batch-selectie vereisen met robuustheid tegen variërende batchgroottes.

Methodologie: Contextual Adaptive Active Learning (CAAL)
De auteurs stellen CAAL voor, een meta-learner-gebaseerd framework dat handmatige active learning-strategieën behandelt als "armen" in een contextual bandit-setting. In tegenstelling tot adversarial bandits die beloningen als onvoorspelbaar behandelen, maakt CAAL gebruik van externe context om de beloning van elke strategie te voorspellen, wat een meer greedier en minder conservatieve selectie mogelijk maakt.

• Framework Integratie: In elke iteratie $k$ observeert de agent een contextvector $c_k$ die de huidige staat van het active learning-proces vertegenwoordigt. In plaats van blind een enkele strategie te selecteren, brengt de agent de context in kaart naar een actie (een specifieke handmatige strategie) via een beleid $\Pi$.
• Context en Beloningsontwerp:
  • Context: De grootte van de dataset wordt gebruikt als een primaire contextuele feature, aangezien de prestaties van de classifier bekend staan te verbeteren met meer gelabelde data.
  • Beloning: De beloning wordt gedefinieerd als het relatieve prestatieverschil tussen de classifier $M_k$ en de bijgewerkte classifier $M_{k+1}$. Cruciaal is dat deze evaluatie wordt uitgevoerd op een gehouden controle groep (IID-data) in plaats van op de trainingsset, wat een signaal oplevert dat onafhankelijk is van de selectiebias.
• Algoritme: Het systeem maakt gebruik van een non-stationair lineair Upper Confidence Bound (LinUCB) algoritme, specif kindelijk een Sliding Window LinUCB (SW-linUCB). Deze keuze adresseert de non-stationaire aard van active learning-beloningen, uitgaande van de aanname dat deze lokaal lineair zijn ten opzichte van de context. Het algoritme houdt een sliding window bij van recente interacties om de parameters voor de beloningsvoorspelling ($\theta_a$) voor elke arm $a$ bij te werken.
• Proces:
  1. Observeer context $c_k$.
  2. Selecteer de arm $a_k$ die de voorspelde beloning plus een exploratiebonus maximaliseert.
  3. Selecteer een batch van $b$ ongelabelde samples met behulp van strategie $a_k$.
  4. Verkrijg labels en update de trainingsset.
  5. Train de nieuwe classifier en bereken de beloning op basis van de prestaties van de controlegroep.
  6. Update het beloningsvoorspellingsmodel met behulp van de sliding window.

Kernbijdragen

1. Meta-Learner Benadering: Het paper adopteert een meta-learner strategie die selecteert tussen handmatige heuristieken. Dit wordt gepositioneerd als meer "industrieel-vriendelijk" dan de trends in deep active learning, met name voor tabulaire data waar deep models vaak onderpresteren.
2. Focus op Batch Selectie: In tegen tegenoverkomende werken die zich richten op single-sample selectie, richt CAAL zich op batch-selectie en demonstreert expliciet robuustheid over verschillende batchgroottes.
3. Adaptiviteit aan Onbekende Datasets: Het framework maakt automatische selectie van de beste handmatige strategie mogelijk voor datasets met onbekende distributies zonder voorafgaande kennis van welke strategie het beste zal werken.
4. Contextuele Beloningsvoorspelling: De auteurs demonstreren dat het integreren van omgevingscontext voor beloningsvoorspelling de aanpasbaarheid verbetert ten opzichte van state-of-the-art adversarial bandit-methoden, waardoor de conservativiteit die dergelijke benaderingen vaak teistert, wordt verminderd.

Experimentele Resultaten
Experimenten werden uitgevoerd op vier real-world binaire classificatie-datasets (ILPD, IvsJ, Australian Credit, German Credit) uit de UCI repository. De gebruikte base classifier was logistische regressie om eerlijkheid tussen strategieën te garanderen.

• Prestaties: CAAL werd vergeleken met K-Center, Information Diversity, en de state-of-the-art adaptieve baseline ALBL.
• Batch Grootte Robuustheid: Resultaten wijzen uit dat hoewel CAAL vergelijkbare prestaties levert als ALBL bij kleine batchgroottes (bijv. 5), het consequent beter presteert dan ALBL en andere baselines bij grotere batchgroottes (10–25). Dit wordt toegeschreven aan het vermogen van de contextual bandit om voorspelbaarheid te exploiteren in plaats van een constante exploratie te handhaven.
• Metriek: Prestaties werden gemeten met behulp van de Area Under the Curve (AUC) van de ROC-AUC ratio (genormaliseerd tegen de prestaties van de volledige dataset). CAAL behaalde hogere AUC-scores over de meeste datasets en batchgroottes.
• Mechanisme Analyse:
  • Beloningsvoorspelling: Lineaire regressievoorspellingen van beloningen op basis van context bleken nauw aan te sluiten bij de werkelijke beloningen, wat het gebruik van context voor strategie-selectie valideert.
  • Strategie Selectie: In tegenstelling tot ALBL, dat armen uniform selecteert (ongeveer 50% exploratie), convergeert CAAL snel naar de optimale strategie en stabiliseert het na ongeveer 60% van de queries, wat leidt tot superieure algehele prestaties.

Betekenis en Claims
Het paper claimt dat CAAL een praktische oplossing biedt voor industriële active learning-scenario's waar datadistributies onbekend zijn en batch-verwerking vereist is. Door af te stappen van de conservatieve aannames van adversarial bandits en gebruik te maken van contextuele informatie om de beloningen van strategieën te voorspellen, bereikt CAAL een betere aanpasbaarheid en prestaties. De auteurs benadrukken dat hun aanpak consistent is ongeacht de batchgrootte en een framework biedt dat kan worden aangepast met domeinkennis om effectievere beloningen en context-kandidaten te ontwerpen. Het werk wordt gepresenteerd als een stap naar meer robuuste, datagedreven active learning-strategieën die niet afhankelijk zijn van de zware computationele kosten of prestatiebeperkingen van deep learning-modellen op tabulaire data.