Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Título: Combinação Automática de Estratégias de Seleção de Amostras para Aprendizado de Few-Shot

1. O Problema

O Aprendizado de Few-Shot (FSL) visa adaptar modelos a novas tarefas com apenas um pequeno número de exemplos rotulados (shots). Existem duas abordagens principais:

1. Aprendizado em Contexto (In-Context Learning - ICL): Utiliza Grandes Modelos de Linguagem (LLMs) pré-treinados sem atualizar parâmetros, condicionando-os a exemplos de suporte.
2. Aprendizado Baseado em Gradiente: Inclui meta-aprendizado (ex: MAML, Prototypical Networks) e ajuste fino (fine-tuning) com poucos dados.

O Desafio: A escolha de quais amostras incluir no conjunto de suporte (support set) é crítica. A qualidade dos exemplos impacta drasticamente o desempenho.

• Embora existam muitas estratégias de seleção de amostras bem estabelecidas para cenários supervisionados (como Active Learning), a pesquisa em LLMs e FSL tende a ignorá-las, focando em estratégias específicas para ICL ou escolhendo amostras aleatoriamente.
• Estratégias existentes geralmente otimizam uma única propriedade (ex: similaridade, diversidade ou incerteza), o que pode levar a uma seleção subótima, pois diferentes propriedades podem ser complementares.
• Não há consenso sobre qual estratégia funciona melhor, e muitas falham em generalizar entre diferentes modelos e conjuntos de dados.

2. Metodologia: ACSESS

Os autores propõem o ACSESS (Automatic Combination of SamplE Selection Strategies), um método para combinar automaticamente e ponderar objetivos de seleção de amostras para aproveitar propriedades complementares.

O método opera em três estágios principais:

1. Definição de Estratégias de Propriedade Única:
   O sistema considera 23 estratégias existentes baseadas em três categorias de propriedades:

   • Informatividade: Similaridade, Diversidade, Active Learning (Entropia, Margem, Menor Confiança, Perda), e seleção de Core-Set (CAL, DeepFool, GraNd, Graph-Cut).
   • Representatividade: Herding, KCenter, CRAIG, Glister.
   • Aprendibilidade (Learnability): Forgetting (esquecimento) e Cartography (fácil, difícil, ambíguo).

2. Identificação do Subconjunto de Estratégias Relevantes:
   Em vez de testar todas as combinações possíveis (o que é computacionalmente inviável), o ACSESS utiliza três métodos para filtrar as melhores estratégias:

   • Seleção Aditiva (Forward Selection): Adiciona iterativamente estratégias que aumentam o desempenho.
   • Seleção Subtrativa (Backward Selection): Remove iterativamente estratégias que não contribuem para o desempenho.
   • Seleção via Datamodels: Treina um modelo de regressão linear (LASSO) para prever o ganho de desempenho baseado na presença de estratégias.
   • Interseção: O conjunto final de estratégias ($S_{final}$) é a interseção dos resultados desses três métodos, garantindo robustez e eficiência.

3. Combinação e Ponderação:
   Uma pontuação final para cada amostra é calculada como uma soma ponderada das pontuações das estratégias selecionadas:
   $$score(x) = \sum_{s \in S} w_s \times objectives(x)$$
   Onde $w_s$ são pesos atribuídos às estratégias. O método avalia três esquemas de ponderação:

   • Uniforme: Todos os pesos iguais (baixo custo computacional).
   • Ponderada: Pesos derivados do modelo LASSO (alto desempenho, específico para dataset/modelo).
   • Ponderada com Seleção Aleatória: Inclui a seleção aleatória como uma estratégia de base.

3. Contribuições Principais

• Estudo em Grande Escala: Avaliação de 23 estratégias de seleção em 5 modelos de ICL (Mistral, Zephyr, LLaMA, Gemma, Qwen) e 3 abordagens de FSL (Prototypical Networks, MAML, Fine-Tuning) em 6 conjuntos de dados de texto e 8 de imagem.
• Método ACSESS: Proposta de um método automatizado que combina estratégias complementares, superando a necessidade de escolher uma única estratégia "melhor".
• Insights sobre Aprendibilidade: Demonstração de que a "aprendibilidade" (facilidade de aprender ou frequência de esquecimento) é um indicador de qualidade mais forte para FSL do que a simples informatividade ou representatividade.
• Análise de Escala de Shots: Investigação detalhada de como o número de shots e o tamanho do conjunto de dados afetam a utilidade da seleção de amostras.

4. Resultados Experimentais

• Desempenho Superior: O ACSESS supera consistentemente todas as estratégias de propriedade única e as estratégias específicas para ICL (como LENS, Active Prompt, EXPLORA, CASE).
  • Ganhos médios de até 2,5 pontos percentuais para ICL e 1,8 pontos para FSL baseado em gradiente.
  • O método combina estratégias de "amostras difíceis de aprender" (para ICL) e "amostras fáceis/ambíguas" (para FSL baseado em gradiente), focando fortemente na propriedade de aprendibilidade.
• Impacto do Número de Shots:
  • A seleção de amostras é mais benéfica quando o número de shots é baixo (ex: 1-shot ou 5-shot).
  • À medida que o número de shots aumenta (acima de 30-40), o benefício da seleção de amostras diminui e todas as estratégias tendem a regredir para o desempenho da seleção aleatória.
  • Para ICL, aumentar excessivamente os shots (ex: 50+) pode degradar o desempenho devido ao limite de contexto dos LLMs.
• Robustez em Dados Limitados: A seleção de amostras permanece eficaz mesmo em conjuntos de dados pequenos. Selecionar amostras de apenas 25% do conjunto de dados (para ICL) ou 10% (para FSL) ainda permite atingir desempenho comparável ao uso do conjunto completo.
• Custo Computacional: Embora o ACSESS exija mais recursos que estratégias simples, ele é competitivo com as estratégias específicas de ICL e pode ser otimizado usando combinações uniformes para um bom equilíbrio custo-benefício.

5. Significado e Conclusão

O trabalho demonstra que estratégias clássicas e bem estabelecidas de seleção de amostras, quando combinadas automaticamente, podem rivalizar ou superar métodos modernos e específicos para ICL.

Implicações Práticas:

1. Não é necessário criar novas estratégias específicas para cada tarefa: A combinação de propriedades complementares (especialmente aprendibilidade) é mais eficaz.
2. Foco na Qualidade vs. Quantidade: Em cenários de poucos dados, a curadoria de um subconjunto de alta qualidade é crucial. Adicionar mais dados aleatórios (shots) além de um certo limite não melhora o desempenho e pode até piorá-lo.
3. Generalização: O método ACSESS oferece uma solução transferível que se adapta a diferentes modalidades (texto/imagem) e abordagens de aprendizado, reduzindo a dependência de hiperparâmetros manuais.

Em resumo, o ACSESS estabelece um novo padrão para a seleção de exemplos em Few-Shot Learning, provando que a inteligência na seleção de dados é tão importante quanto a arquitetura do modelo, especialmente em cenários com escassez de dados.