Activation-Based Active Learning for In-Context Learning: Challenges and Insights

Resumo Técnico: Aprendizado Ativo Baseado em Ativação para Aprendizado em Contexto

Definição do Problema
O aprendizado em contexto (ICL - in-context learning) emergiu como um método primário para aumentar o desempenho de Grandes Modelos de Linguagem (LLMs) sem a necessidade de ajuste fino (fine-tuning), baseando-se, em vez disso, na seleção de exemplos de alta qualidade dentro do prompt. Embora o aprendizado ativo profundo tenha sido aplicado ao ICL utilizando técnicas como incerteza do modelo, diversidade de dados e métricas de similaridade, permanece uma lacuna no uso dos avanços recentes na compreensão das ativações internas de transformadores. Especificamente, não está claro se os padrões de ativação bruta das camadas de Perceptron Multicamadas (MLP) — que são cruciais para a memorização de conhecimento — podem servir como um sinal refinado para otimizar a seleção de exemplos em contexto. Este artigo investiga a hipótese de que as ativações do modelo correlacionam-se com a qualidade do exemplo e o desempenho da tarefa.

Metodologia
Os autores conduziram um estudo empírico abrangente utilizando dois modelos base, Llama-3.2-3B e Qwen2.5-3B, em quatro conjuntos de dados diversos: BoolQ, ARC-Challenge, OpenBookQA (tarefas de classificação) e GSM8K (raciocínio matemático generativo).

A metodologia envolveu as seguintes etapas:

1. Estratégias de Mascaramento: Para capturar relações complexas entre exemplos candidatos e amostras de teste, os autores experimentaram quatro configurações de mascaramento de atenção:
   • Causal Mask (Máscara Causal): A configuração padrão que bloqueia a atenção para tokens futuros.
   • No Mask (Sem Máscara): Removendo o mascaramento causal para permitir o processamento bidirecional.
   • Row Test-Based (Baseada na Linha de Teste): Mascarando apenas os tokens da consulta de teste.
   • Col Test-Based (Baseada na Coluna de Teste): Mascarando apenas os tokens de chave de teste.
2. Mecanismo de Pontuação: Para cada exemplo candidato, o modelo realizou uma passagem direta (forward pass) com prompts de 1-shot (exemplo + delimitador + amostra de teste). Os autores extraíram matrizes de ativação de todas as $L$ camadas MLP.
3. Métricas: Para reduzir as matrizes de ativação a uma única pontuação, os autores utilizaram:
   • Os quatro primeiros momentos estatísticos: média (absoluta), variância, assimetria (skewness) e curtose (kurtosis).
   • A "ativação máxima": o maior valor de ativação absoluta dentro da matriz.
   • O "máximo por vetor": a média das ativações máximas através dos vetores de tokens.
4. Avaliação: Os autores calcularam um shot_score para cada exemplo, calculando a média das pontuações do prompt através do conjunto de teste. Eles então calcularam o coeficiente de correlação de Spearman entre essas pontuações e o desempenho real da tarefa (acurácia ou correspondência exata) dos exemplos selecionados.

Principais Resultados
O estudo produziu um resultado negativo definitivo em relação à hipótese inicial:

• Falta de Correlação: Não há correlação confiável entre as pontuações baseadas em ativação de MLP e o desempenho do exemplo em contexto. O coeficiente absoluto de correlação de Spearman foi, no máximo, 0,33 em todas as tarefas e modelos testados.
• Significância Estatística: Muitos experimentos mostraram valores de p baixos ($p < 0,001$), indicando uma falta de correlação estatisticamente significativa.
• Desalinhamento de Desempenho: Selecionar exemplos baseados em valores máximos, medianos ou mínimos não resultou nos exemplos de melhor desempenho. Em alguns casos, as seleções "ótimas" baseadas nessas métricas resultaram em quedas de desempenho abaixo das linhas de base (baselines) de zero-shot.
• Robustez: Essa falta de correlação persistiu independentemente da estratégia de mascaramento (causal, sem máscara ou específica de teste) ou da métrica específica utilizada (momentos ou ativações máximas).

Significância e Contribuições
A principal contribuição do artigo é a análise mais abrangente até o momento do aprendizado ativo profundo baseado em ativação de MLP para ICL, fornecendo um "resultado negativo" crítico que orienta direções de pesquisas futuras.

• Evidência Empírica: Os autores demonstram que as ativações brutas de MLP, mesmo quando visualizadas através de ativações massivas ou momentos estatísticos, não servem como um substituto (proxy) para a qualidade do exemplo.
• Hipótese sobre Superposição: O artigo hipotetiza que a falha dessas métricas se deve à superposição, onde os modelos representam mais características do que sua dimensionalidade permite, causando o emaranhamento de características através das dimensões. Isso sugere que métricas lineares ou estatísticas simples não podem desmembrar essas interações complexas e não lineares.
• Direção Futura: Consequentemente, os autores argumentam que os praticantes não devem usar ativações brutas de MLP para amostragem de exemplos em contexto sem o devido desmembramento da MLP. Eles propõem Autoencoders Esparsos (SAEs) como uma direção futura promissora para isolar características interpretáveis antes de aplicar estratégias de aprendizado ativo.

Em conclusão, embora o estudo não valide o uso de amostragem baseada em ativação para ICL, ele fornece insights essenciais ao descartar uma classe específica de métodos e apontar para técnicas de desmembramento de características, como os SAEs, como necessárias para o progresso futuro neste domínio.