CAAL: Contextual Bandits based Online Hand-Craft Active Learning Strategy Selection

Resumo Técnico: CAAL – Estratégia de Seleção de Aprendizado Ativo Online Baseada em Bandidos Contextuais

Definição do Problema
O aprendizado ativo (AL - Active Learning) visa minimizar o esforço de rotulagem enquanto mantém um forte desempenho do modelo. Abordagens tradicionais dependem de estratégias criadas manualmente (ex: amostragem por incerteza, amostragem por diversidade) que assumem propriedades estatísticas específicas dos dados não rotulados. A estratégia ótima é frequentemente desconhecida de antemão e varia entre diferentes conjuntos de dados. Estruturas adaptativas existentes tentam combinar múltiplas estratégias usando métodos de bandidos adversariais (ex: ALBL). Embora esses métodos proporcionem robustez, eles são frequentemente excessivamente conservadores, mantendo taxas de exploração constantes que podem resultar em um desempenho semelhante à seleção aleatória. Além disso, muitas abordagens recentes de aprendizado ativo profundo são mal adequadas para dados tabulares, que dominam as aplicações industriais, uma vez que modelos profundos costumam ter um desempenho inferior em comparação com modelos baseados em árvores ou lineares nesses dados. Adicionalmente, a maioria dos métodos adaptativos foca na seleção de amostra única, ao passo que as necessidades industriais do mundo real frequentemente exigem seleção em lote (batch selection), com robustez a variações nos tamanhos de lote.

Metodologia: Aprendizado Ativo Adaptativo Contextual (CAAL)
Os autores propõem o CAAL, uma estrutura baseada em meta-aprendizado que trata as estratégias de aprendizado ativo criadas manualmente como "braços" (arms) em um cenário de bandido contextual. Diferente dos bandidos adversariais que tratam as recompensas como imprevisíveis, o CAAL aproveita o contexto externo para prever a recompensa de cada estratégia, permitindo uma seleção mais gananciosa (greedy) e menos conservadora.

• Integração da Estrutura: Em cada iteração $k$, o agente observa um vetor de contexto $c_k$ que representa o estado atual do processo de aprendizado ativo. Em vez de selecionar uma única estratégia cegamente, o agente mapeia o contexto para uma ação (uma estratégia específica criada manualmente) via uma política $\Pi$.
• Design de Contexto e Recompensa:
  • Contexto: O tamanho do conjunto de dados é utilizado como uma característica de contexto primária, visto que sabe-se que o desempenho do classificador melhora com mais dados rotulados.
  • Recompensa: A recompensa é definida como a diferença de desempenho relativo entre o classificador $M_k$ e o classificador atualizado $M_{k+1}$. Crucialmente, esta avaliação é realizada em um grupo de controle externo (dados IID) em vez do conjunto de treinamento, fornecendo um sinal independente do viés de seleção.
• Algoritmo: O sistema emprega um algoritmo Upper Confidence Bound linear não estacionário (LinUCB), especificamente um Sliding Window LinUCB (SW-linUCB). Esta escolha aborda a natureza não estacionária das recompensas do aprendizado ativo, assumindo que elas são localmente lineares em relação ao contexto. O algoritmo mantém uma janela deslizante de interações recentes para atualizar os parâmetros de predição de recompensa ($\theta_a$) para cada braço $a$.
• Processo:
  1. Observar o contexto $c_k$.
  2. Selecionar o braço $a_k$ que maximiza a recompensa prevista mais um bônus de exploração.
  3. Selecionar um lote de $b$ amostras não rotuladas usando a estratégia $a_k$.
  4. Obter rótulos e atualizar o conjunto de treinamento.
  5. Treinar o novo classificador e computar a recompensa com base no desempenho do grupo de controle.
  6. Atualizar o modelo de predição de recompensa usando a janela deslizante.

Principais Contribuições

1. Abordagem de Meta-Aprendizado: O artigo adota uma estratégia de meta-aprendizado que seleciona entre heurísticas criadas manualmente. Isso é posicionado como mais "amigável à indústria" do que as tendências de aprendizado ativo profundo, particularmente para dados tabulares onde modelos profundos frequentemente apresentam desempenho inferior.
2. Foco em Seleção em Lote: Ao contrário de muitos trabalhos anteriores focados em seleção de amostra única, o CAAL visa a seleção em lote e demonstra explicitamente robustez em diferentes tamanhos de lote.
3. Adaptabilidade a Conjuntos de Dados Desconhecidos: A estrutura permite a seleção automática da melhor estratégia manual para conjuntos de dados com distribuições desconhecidas, sem exigir conhecimento prévio de qual estratégia funcionará melhor.
4. Predição de Recompensa Contextual: Os autores demonstram que a incorporação de contexto ambiental para a predição de recompensa melhora a adaptabilidade em relação aos métodos de bandido adversarial de última geração, reduzindo o conservadorismo que frequentemente assombra tais abordagens.

Resultos Experimentais
Experimentos foram conduzidos em quatro conjuntos de dados de classificação binária do mundo real (ILPD, IvsJ, Australian Credit, German Credit) do repositório UCI. O classificador base utilizado foi a regressão logística para garantir a equidade entre as estratégias.

• Desempenho: O CAAL foi comparado ao K-Center, Information Diversity e ao estado da arte em termos de linha de base adaptativa, o ALBL.
• Robustez do Tamanho do Lote: Os resultados indicam que, embora o CAAL tenha um desempenho comparável ao ALBL em pequenos lotes (ex: 5), ele supera consistentemente o ALBL e outras linhas de base em lotes maiores (10–25). Isso é atribuído à capacidade do bandido contextual de explorar a previsibilidade em vez de manter uma exploração constante.
• Métrica: O desempenho foi medido usando a Área Sob a Curva (AUC) da razão da ROC-AUC (normalizada em relação ao desempenho do conjunto de dados completo). O CAAL alcançou pontuações de AUC mais altas na maioria dos conjuntos de dados e tamanhos de lote.
• Análise de Mecanismo:
  • Predição de Recompensa: Verificou-se que as predições de regressão linear de recompensas baseadas no contexto alinham-se de perto com as recompensas reais, validando o uso de contexto para a seleção de estratégia.
  • Seleção de Estratégia: Diferente do ALBL, que seleciona braços uniformemente (aprox. 50% de exploração), o CAAL converge rapidamente para a estratégia ideal e se estabiliza após aproximadamente 60% das consultas, levando a um desempenho global superior.

Significância e Alegações
O artigo afirma que o CAAL oferece uma solução prática para cenários industriais de aprendizado ativo onde as distribuições de dados são desconhecidas e o processamento em lote é necessário. Ao afastar-se das suposições conservadoras dos bandidos adversariais e aproveitar a informação contextual para prever recompensas de estratégias, o CAAL alcança melhor adaptabilidade e desempenho. Os autores enfatizam que sua abordagem é consistente independentemente do tamanho do lote e fornece uma estrutura que pode ser customizada com conhecimento de domínio para projetar recompensas e candidatos de contexto mais eficazes. O trabalho é apresentado como um passo em direção a estratégias de aprendizado ativo mais robustas e orientadas a dados que não dependem dos altos custos computacionais ou das limitações de desempenho dos modelos de aprendizado profundo em dados tabulares.