PLR: Plackett-Luce for Reordering In-Context Learning Examples

Título: PLR: Plackett–Luce para Reordenar Exemplos de Aprendizado em Contexto (ICL)

1. Problema

O Aprendizado em Contexto (In-Context Learning - ICL) permite adaptar Grandes Modelos de Linguagem (LLMs) fornecendo um pequeno conjunto de exemplos (demonstrações) no prompt, sem atualizar os parâmetros do modelo. No entanto, a performance do ICL é notoriamente frágil e altamente sensível à ordem em que esses exemplos são apresentados.

• Desafio Principal: O espaço de possíveis ordenações para $n$ exemplos cresce fatorialmente ($n!$), tornando a busca exaustiva por uma ordenação ótima inviável computacionalmente.
• Limitações dos Métodos Atuais:
  • Métodos existentes (como LocalE, GlobalE, PDO) frequentemente dependem de heurísticas baseadas em probabilidade de rótulos ou entropia.
  • Essas abordagens exigem a enumeração de um conjunto finito de rótulos (via verbalizadores), o que as torna inaplicáveis em tarefas de geração aberta ou raciocínio numérico (onde o espaço de saída é ilimitado).
  • Muitos métodos buscam uma única ordenação "ponto-estimada", o que pode ser instável e falhar em capturar múltiplas configurações de alta performance.

2. Metodologia (PLR)

Os autores propõem o PLR, uma abordagem probabilística que substitui a busca discreta por ordenações pelo aprendizado de uma distribuição de probabilidade sobre as ordenações.

• Modelo Probabilístico:

  • Utiliza a distribuição Plackett-Luce (PL), um modelo estatístico projetado para distribuições sobre permutações.
  • A PL modela o processo de escolha sequencial: em cada posição do ranking, o item é escolhido com probabilidade proporcional à sua pontuação (logit) exponenciada em relação aos itens restantes.
  • Para aumentar a expressividade e capturar modos multimodais (diferentes ordenações boas), o método permite o uso de uma Mistura de Distribuições Plackett-Luce (Mixture of PLs).

• Mecanismo de Amostragem (Gumbel Trick):

  • Para amostrar permutações da distribuição PL de forma eficiente (evitando a seleção sequencial passo a passo), o método utiliza o truque de Gumbel (Gumbel perturb-and-sort).
  • Adiciona ruído Gumbel às logits dos exemplos ($s_i = \theta_i + g_i$) e ordena os exemplos com base nas pontuações perturbadas. Isso gera uma amostra válida da distribuição PL de forma vetorial e eficiente.

• Algoritmo de Treinamento Iterativo:
  O processo segue um ciclo de "Amostrar e Avaliar" (Sample & Eval):

  1. Inicialização: Começa com uma distribuição uniforme sobre as permutações.
  2. Amostragem: Gera um lote de permutações candidatas usando o truque de Gumbel.
  3. Avaliação: Avalia o desempenho de cada permutação em um conjunto de dados de treinamento/validação (usando uma métrica de tarefa, como acurácia).
  4. Seleção de Elite: Mantém apenas as permutações de melhor desempenho (elite).
  5. Atualização: Ajusta os parâmetros da distribuição (as logits $\theta$) para concentrar a massa de probabilidade nas ordenações de elite.
  6. Repetição: Repete o processo por várias iterações até convergir.

• Estratégias de Atualização Propostas:

  1. Atualização Heurística (EMA): Atualiza as logits baseando-se na média das posições (ranks) dos exemplos nas permutações de elite.
  2. Maximum Likelihood Estimation (MLE): Ajusta os parâmetros maximizando a verossimilhança das permutações de elite.
  3. Expectation-Maximization (EM): Para misturas de PL, utiliza um procedimento EM para estimar os pesos da mistura e as logits de cada componente.

3. Contribuições Principais

1. Abordagem Distribucional: Introduz o PLR como uma alternativa robusta à busca pontual, modelando o espaço de ordenações como uma distribuição contínua que pode ser otimizada diretamente para a métrica da tarefa.
2. Independência do Espaço de Rótulos: Diferente de métodos baseados em entropia de rótulos, o PLR é agnóstico ao espaço de rótulos, funcionando tanto para classificação quanto para geração aberta e raciocínio matemático.
3. Eficiência Computacional: O uso do truque de Gumbel permite amostragem eficiente e estável de permutações, viabilizando a otimização em espaços grandes sem enumeração exaustiva.
4. Algoritmos de Otimização: Propõe e compara três métodos de ajuste de parâmetros (EMA, MLE e EM) para a distribuição PL e suas misturas.

4. Resultados Experimentais

Os autores avaliaram o PLR em diversos benchmarks usando modelos como Qwen2.5-7B e Llama3.1-8B.

• Classificação:

  • Testado em 5 benchmarks (MR, NEWS, SST5, TREC, SUBJ) com $k \in \{4, 8, 16, 32\}$ exemplos.
  • O PLR superou consistentemente métodos baselines como Static (ordem original), Top-K (busca aleatória), LocalE/GlobalE (entropia) e PDO (distribuição de rótulos).
  • As melhorias foram mais pronunciadas à medida que o número de exemplos aumentava (onde o espaço de busca se torna intratável para métodos de busca direta).

• Raciocínio Matemático:

  • Testado em GSM8K, DeepMath e Math500.
  • Como essas tarefas não possuem um conjunto finito de rótulos, métodos baseados em probabilidade de rótulo não são aplicáveis.
  • O PLR superou significativamente a linha de base Top-K e a ordem estática, demonstrando que a otimização distribucional é eficaz mesmo em tarefas de geração complexa.

• Ablações:

  • O uso de misturas de PL (ex: 4 componentes) mostrou-se estável, capturando modos de alta performance sem necessidade de um número excessivo de componentes.
  • A relação entre a probabilidade aprendida pela distribuição e a acurácia no teste mostrou-se monotônica: permutações com maior probabilidade tendem a ter maior desempenho.

5. Significado e Conclusão

O trabalho demonstra que tratar a ordenação de exemplos de ICL como um problema de otimização de distribuição é superior às abordagens heurísticas ou de busca pontual.

• Impacto: O PLR oferece uma solução geral e robusta para um problema crítico na engenharia de prompts, especialmente em cenários onde a ordem dos exemplos é determinante para o sucesso do modelo.
• Limitações: O método ainda requer dados rotulados para calcular a métrica de avaliação durante o treinamento (não é totalmente unsupervised) e é otimizado por tarefa, não sendo ainda uma estratégia de ordenação universal transferível entre tarefas distintas.
• Futuro: Abre caminho para pesquisas que combinam a seleção e a ordenação de exemplos simultaneamente, ou a otimização conjunta de instruções e exemplos.

Em suma, o PLR estabelece um novo estado da arte na reordenação de exemplos para ICL, oferecendo ganhos consistentes de performance e uma fundamentação teórica sólida baseada em modelos probabilísticos.