CAAL: Contextual Bandits based Online Hand-Craft Active Learning Strategy Selection

Résumé Technique : CAAL – Une stratégie de sélection de l'apprentissage actif en ligne basée sur des bandits contextuels et des méthodes artisanales

Énoncé du problème
L'apprentissage actif (AL - Active Learning) vise à minimiser l'effort d'étiquetage tout en maintenant une performance de modèle élevée. Les approches traditionnelles reposent sur des stratégies conçues à la main (par exemple, l'échantillonnage par incertitude, l'échantillonnage par diversité) qui supposent des propriétés statistiques spécifiques des données non étiquetées. Cependant, la stratégie optimale est souvent inconnue à l'avance et varie selon les jeux de données. Les cadres adaptatifs existants tentent de combiner plusieurs stratégies à l'aide de méthodes de bandits adverses (par exemple, ALBL). Bien que ces méthodes offrent une certaine robustesse, elles sont souvent excessivement conservatrices, maintenant des taux d'exploration constants qui peuvent aboutir à des performances similaires à une sélection aléatoire. De plus, de nombreuses approches récentes d'apprentissage actif profond sont mal adaptées aux données tabulaires, qui dominent les applications industrielles, car les modèles profonds sous-performent souvent par rapport aux modèles basés sur des arbres ou des modèles linéaires sur ce type de données. En outre, la plupart des méthodes adaptatives se concentrent sur la sélection d'un échantillon unique, alors que les besoins industriels réels nécessitent souvent une sélection par lots (batch selection), avec une robustesse face à la variation de la taille des lots.

Méthodologie : Apprentissage Actif Contextuel Adaptatif (CAAL)
Les auteurs proposent CAAL, un cadre basé sur un méta-apprenant qui traite les stratégies d'apprentissage actif conçues à la main comme des « bras » dans un contexte de bandit contextuel. Contra à les bandits adverses qui traitent les récompenses comme imprévisibles, CAAL exploite un contexte externe pour prédire la récompense de chaque stratégie, permettant ainsi une sélection plus gourmande (greedy) et moins conservatrice.

• Intégration du cadre : À chaque itération $k$, l'agent observe un vecteur de contexte $c_k$ représentant l'état actuel du processus d'apprentissage actif. Au lieu de sélectionner une stratégie de manière aveugle, l'agent associe le contexte à une action (une stratégie spécifique conçue à la main) via une politique $\Pi$.
• Conception du Contexte et de la Récompense :
  • Contexte : La taille du jeu de données est utilisée comme principale caractéristique de contexte, car la performance du classificateur est connue pour s'améliorer avec davantage de données étiquetées.
  • Récompense : La récompense est définie comme la différence de performance relative entre le classificateur $M_k$ et le classificateur mis à jour $M_{k+1}$. Crucialement, cette évaluation est effectuée sur un groupe de contrôle (données IID) plutôt que sur l'ensemble d'entraînement, fournissant un signal indépendant du biais de sélection.
• Algorithme : Le système utilise un algorithme Upper Confidence Bound linéaire non stationnaire (LinUCB), spécifiquement un Sliding Window LinUCB (SW-linUCB). Ce choix répond à la nature non stationnaire des récompenses de l'apprentissage actif, en supposant qu'elles sont localement linéaires par rapport au contexte. L'algorithme maintient une fenêtre glissante des interactions récentes pour mettre à jour les paramètres de prédiction de la récompense ($\theta_a$) pour chaque bras $a$.
• Processus :
  1. Observer le contexte $c_k$.
  2. Sélectionner le bras $a_k$ maximisant la récompense prédite plus un bonus d'exploration.
  3. Sélectionner un lot de $b$ échantillons non étiquetés en utilisant la stratégie $a_k$.
  4. Obtenir les étiquettes et mettre à jour l'ensemble d'entraînement.
  5. Entraîner le nouveau classificateur et calculer la récompense basée sur la performance du groupe de contrôle.
  6. Mettre à jour le modèle de prédiction de la récompense en utilisant la fenêtre glissante.

Contributions Clés

1. Approche de Méta-Apprenant : Le papier adopte une stratégie de méta-apprenant qui sélectionne parmi des heuristiques conçues à la main. Cela est positionné comme plus « adapté à l'industrie » que les tendances de l'apprentissage actif profond, particulièrement pour les données tabulaires où les modèles profonds sous-performent souvent.
2. Focus sur la Sélection par Lots : Contra à de nombreux travaux antérieurs se concentrant sur la sélection d'un échantillon unique, CAAL cible la sélection par lots et démontre explicitement sa robustesse face à différentes tailles de lots.
3. Adaptabilité aux Jeux de Données Inconnus : Le cadre permet la sélection automatique de la meilleure stratégie conçue à la main pour des jeux de données aux distributions inconnues, sans nécessiter de connaissance préalable de la stratégie qui fonctionnera le mieux.
4. Prédiction de Récompense Contextuelle : Les auteurs démontrent que l'incorporation du contexte environnemental pour la prédiction de la récompense améliore l'adaptabilité par rapport aux méthodes de bandits adverses de pointe, réduisant le caractère conservateur qui affecte souvent ces approches.

Résultats Expérimentaux
Les expériences ont été menées sur quatre jeux de données de classification binaire réels (ILPD, IvsJ, Australian Credit, German Credit) provenant du dépôt UCI. Le classificateur de base utilisé était la régression logistique afin de garantir l'équité entre les stratégies.

• Performance : CAAL a été comparé à K-Center, Information Diversity, et la méthode de référence adaptative ALBL.
• Robustesse de la Taille des Lots : Les résultats indiquent que si CAAL est comparable à ALBL pour de petites tailles de lots (ex: 5), il surpasse systématiquement ALBL et les autres bases de référence pour des tailles de lots plus importantes (10–25). Cela est attribué à la capacité du bandit contextuel à exploiter la prédictibilité plutôt qu'à maintenir une exploration constante.
• Métrique : La performance a été mesurée en utilisant l'Aire Sous la Courbe (AUC) du ratio ROC-AUC (normalisé par rapport à la performance du jeu de données complet). CAAL a obtenu des scores AUC plus élevés sur la plupart des jeux de données et tailles de lots.
• Analyse du Mécanisme :
  • Prédiction de la Récompense : Les prédictions de régression linéaire des récompenses basées sur le contexte se sont avérées étroitement alignées avec les récompenses réelles, validant l'utilisation du contexte pour la sélection de la stratégie.
  • Sélection de Stratégie : Contrairement à ALBL, qui sélectionne les bras de manière uniforme (environ 50 % d'exploration), CAAL converge rapidement vers la stratégie optimale et se stabilise après environ 60 % des requêtes, conduisant à une performance globale supérieure.

Signification et Revendications
Le papier affirme que CAAL offre une solution pratique pour les scénarios d'apprentissage actif industriels où les distributions de données sont inconnues et où le traitement par lots est requis. En s'éloignant des hypothèses conservatrices des bandits adverses et en exploitant l'information contextuelle pour prédire les récompenses des stratégies, CAAL atteint une meilleure adaptabilité et performance. Les auteurs soulignent que leur approche est cohérente quelle que soit la taille du lot et fournit un cadre qui peut être personnalisé avec des connaissances métier pour concevoir des récompenses et des candidats de contexte plus efficaces. Le travail est présenté comme une étape vers des stratégies d'apprentissage actif plus robustes et axées sur les données, qui ne dépendent pas des coûts de calcul lourds ou des limitations de performance des modèles de deep learning sur les données tabulaires.