When Offline Selectors Cannot Beat the Best Single Model: A Diagnostic Study on edX Dropout Prediction

Resumo Técnico: Quando Seletores Offline Não Conseguem Superar o Melhor Modelo Único

Formulação do Problema
O artigo aborda o problema do meta-aprendizado offline para seleção dinâmica de modelos, especificamente no contexto de dados educacionais. A tarefa é formulada como uma banda de contexto (contextual bandit) onde um agente deve selecionar o modelo base com melhor desempenho de um conjunto de classificadores pré-treinados ($M = \{m_1, \dots, m_K\}$) para cada instância individual (par estudante-curso) com base em um vetor de estado $s$. O objetivo é superar o melhor modelo estático único, aproveitando o fato de que diferentes modelos se destacam em diferentes regiões do espaço de características.

Os autores investigam por que seletores offline, treinados em dados registrados, rotineiramente falham em recuperar o "headroom do oráculo" (oracle headroom) — o ganho teórico de acurácia disponível se fosse possível selecionar perfeitamente o melhor modelo para cada instância. Eles hipotetizam três causas potenciais para essa falha, que são frequentemente confundidas na prática:

1. Falha Algorítmica: O algoritmo de aprendizado por reforço (RL) offline ou de clonagem comportamental (BC) é insuficiente (ex: devido ao conservadorismo ou erro de especificação de recompensa).
2. Falha de Representação: A representação do estado carece da informação necessária para prever qual modelo vencerá.
3. Falha Distribucional: Existe um desvio entre a distribuição de rótulos do oráculo no buffer offline e a distribuição no momento da avaliação.

Metodologia: Um Protocolo de Diagnóstico de Três Estágios
Para distinguir essas causas sem a necessidade de novos ajustes (tuning), os autores propõem um protocolo de diagnóstico de três estágios aplicado a um buffer offline compartilhado:

• Estágio 1: Consistência de Rótulo Local (k-NN).
  Os autores medem a consistência local das ações do oráculo usando uma abordagem de $k$-vizinhos mais próximos (k-NN). Para cada estado no buffer, eles verificam se seus vizinhos compartilham a mesma ação do oráculo (o modelo base que prevê corretamente o rótulo real). Uma pontuação de consistência baixa indica ambiguidade representacional local, sugerindo que nenhum seletor local pode distinguir de forma confiável o melhor modelo com base nas características atuais do estado. Um seletor 10-NN mantido fora (held-out) também é treinado para calibrar como essa ambiguidade local se traduz em desempenho no tempo de teste.

• Estágio 2: Algoritmo vs. Representação (Ablação Pareada).
  Para distinguir entre falhas algorítmicas e representacionais, os autores treinam duas políticas distintas no mesmo buffer:

  1. Clonagem Comportamental (BC): Um classificador multiclasse supervisionado treinado com entropia cruzada de rótulo rígido (hard-label cross-entropy).
  2. RL Offline (DQN e CQL): Uma Deep Q-Network e uma variante de Aprendizado Q Conservador (CQL) treinadas com um objetivo de bandit de um passo e recompensas de correspondência do oráculo.
     Se ambas as abordagens, supervisionada e de RL, falharem por margens semelhantes, o gargalo é provavelmente compartilhado (representação ou distribuição) em vez de algorítmico. Se elas divergirem, a escolha do algoritmo é a culpada. O CQL é usado especificamente para testar se o conservadorismo é o fator limitante.

• Estágio 3: Valor Marginal de Características (Ablação de Estado).
  Os autores testam se as características comportamentais projetadas fornecem sinal além do que já está codificado nos vetores de probabilidade dos modelos base. Eles comparam um seletor de "estado completo" (38 dimensões: 28 características comportamentais + 5 probabilidades + metadados) contra um seletor de "apenas probabilidades" (5 dimensões). Eles também testam "transformações derivadas de discordância" (ex: desvio padrão, diferenças pareadas) para ver se representações mais ricas do vetor de probabilidade melhoram o desempenho.

Configuração Experimental
O protocolo é aplicado a dados de clickstream do edX envolvendo 223.505 pares estudante-curso e 84,5 milhões de eventos.

• Modelos Base: Cinco classificadores pré-treinados (Regressão Logística, Random Forest, Gradient Boosting, Calibrated RF e um Ensemble de Stacking) treinados para prever a evasão do curso.
• Tarefa: Selecionar o melhor modelo para uma janela de predição de 14 dias baseada em uma janela de observação de 14 dias.
• Oráculo: Definido como o modelo base que atribui a maior probabilidade à classe verdadeira.

Resultos Principais

1. O Headroom do Oráculo Existe: Em 16 configurações de janelas de observação/predição, o oráculo por instância supera o melhor modelo base único em uma média de 9,7 pontos de acurácia (intervalo de 4,5–15,5). Na configuração principal, a diferença é de 6,3 pontos (Oráculo: 0,825 vs. Melhor Estático: 0,762).
2. Seletores Falham em Recuperar o Headroom: Apesar do significativo gap do oráculo, todos os seletores aprendidos (BC, DQN, CQL) agrupam-se firmemente em torno de 0,748 de acurácia de teste, falhando em exceder a referência estática (0,762). Este resultado é robusto através de tamanhos de buffer (até 8.000 exemplos de treinamento) e conjuntos de teste mantidos fora (até 2.000 exemplos).
3. Diagnóstico da Falha:
   • Não é Algorítmica: O CQL (conservador) apresenta desempenho similar ao BC (supervisionado), e o DQN não supera significativamente ambos. A falha não se deve ao conservadorismo ou engenharia de recompensa.
   • Não é Desvio Distribucional: Embora exista um desvio marginal buffer-para-teste ($d_{TV}$) (aprox. 0,07), este não é o principal motor da falha.
   • Ambiguidade Representacional: A consistência k-NN local é baixa (0,388), indicando que estados próximos frequentemente mapeiam para diferentes ações do oráculo. Esta "ambiguidade representacional local" é o principal gargalo.
   • Redundância de Características: Adicionar características comportamentais projetadas ou transformações derivadas de discordância ao estado não melhora a acurácia de teste em relação ao uso apenas do vetor de probabilidade do modelo base. As 28 características comportamentais, embora úteis para os modelos base, não fornecem sinal marginal para a tarefa de seleção.

Contribuições e Significância
O artigo apresenta duas contribuições primárias:

1. C1. Um Procedimento de Diagnóstico Combinado: Os autores reúnem verificações estabelecidas (consistência k-NN, ablação pareada BC/RL, ablação de estado e estimativa de desvio de distribuição) em um protocolo unificado. Isso permite que praticantes diagnostiquem por que o meta-aprendizado offline falha antes de investir em mais ajustes ou coleta de dados. Isso desloca o foco de "ajustar o aprendiz" para "diagnosticar os dados/representação".
2. C2. Um Estudo de Caso Empírico: O estudo demonstra que, em um cenário educacional de alto risco com abundância de dados, os seletores offline não conseguem superar o melhor modelo único devido à ambiguidade de rótulo local, e não ao conservadorismo algorítmico ou desvio distribucional. Os resultados sugerem que simplesmente coletar mais dados ou ajustar hiperparâmetros de RL offline não resolverá o problema; em vez disso, a representação do estado deve ser redesenhada ou novas fontes de dados devem ser coletadas.

Conclusão
O artigo conclui que a falha dos seletores offline neste domínio não é uma limitação dos algoritmos atuais de RL offline (como o CQL), mas uma limitação fundamental da representação de estado disponível. O "headroom do oráculo" existe teoricamente, mas a ambiguidade local nos dados impede que qualquer seletor o acesse de forma confiável. Os autores argumentam que as futuras iterações devem focar em mudar a representação do estado ou coletar novos dados, em vez de apenas realizar mais ajustes no aprendiz offline.