Resumo Técnico: Aprendizado de Preferência Calibrado: O Caso do Ranking de Rótulos

Declaração do Problema

O Ranking de Rótulos Probabilístico (ProLR) visa prever uma distribuição de probabilidade sobre as ordenações possíveis de um conjunto de itens dado um contexto. Embora a calibração — o alinhamento das probabilidades previstas com as frequências reais dos resultados — seja bem estudada em classificação e regressão, ela não foi formalmente abordada para ProLR.

Tratar o ranking de rótulos como um problema padrão de classificação multiclasse (onde cada ranking único é uma classe) é insuficiente por vários motivos:

1. Intratabilidade Computacional: O número de classes de ranking cresce fatorialmente ($m!$), tornando a medição quantitativa da calibração difícil mesmo para um número moderado de itens.
2. Ignorância Estrutural: A classificação ingênua ignora a estrutura métrica do espaço de ranking. Por exemplo, dois rankings que compartilham um sub-ranking comum (ex: $i_1 \succ i_2 \succ i_3$ e $i_1 \succ i_3 \succ i_2$) são tratados como classes disjuntas, falhando em capturar que a calibração em um pode induzir a calibração no outro.
3. Modalidades Práticas: Modalidades importantes específicas de aplicações, como comparações pareadas e predições top-$k$, não são naturalmente capturadas por métricas de classificação de ranking completo.

Esta lacuna é particularmente crítica em aplicações como o Aprendizado por Reforço com Feedback Humano (RLHF), onde modelos de recompensa dependem de preferências pareadas (subestruturas de rankings completos) para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas.

Metodologia

Os autores formalizam a calibração para o ranking de rótulos desenvolvendo uma hierarquia de noções de calibração que se estendem além da visão de classificação multiclasse. Eles definem a calibração em diferentes granularidades:

1. Calibração de Ranking Completo (Full-Rank)

• Calibração de Ranking Completo: Análoga à calibração forte em classificação multiclasse. Um modelo é calibrado em ranking completo se, para qualquer distribuição prevista $p$ sobre todos os rankings, a frequência empírica do ranking verdadeiro $\pi$ coincide com $p[\pi]$.
• Calibração por Ranking (Rankwise): Análoga à calibração fraca. Um modelo é calibrado por ranking se, para qualquer probabilidade prevista $\alpha$ atribuída a um ranking específico $\pi$, a frequência empírica de $\pi$ entre instâncias onde $h(x)[\pi]=\alpha$ é exatamente $\alpha$.

2. Calibração Marginal (Sub-rankings e Top-$k$)

O artigo introduz a calibração para projeções da distribuição de ranking completa:

• Calibração de Sub-$k$: Foca em subconjuntos de itens $B$ ($|B|=k$). Requer que a distribuição marginal sobre os rankings de $B$ seja calibrada. Isso inclui a calibração pareada ($k=2$), que é central para o RLHF.
• Calibração de Top-$k$: Foca nas $k$ primeiras posições do ranking. Requer que a distribuição marginal dos top-$k$ itens seja calibrada.

3. Variantes Mais Fracas

Semelhante à distinção entre calibração forte e fraca, os autores definem a Calibração por Ranking de Sub-$k$ e por Top-$k$, que condicionam apenas na probabilidade de um sub-ranking específico em vez da distribuição marginal inteira.

Estrutura Teórica

O artigo estabelece uma hierarquia de implicações e exclusões entre essas noções (visualizada na Figura 1):

• Implicações: A calibração de ranking completo implica tanto a calibração por ranking quanto a de sub-$k$ e top-$k$. A calibração de sub-$k$ (e top-$k$) implica suas respectivas variantes por ranking.
• Não-Implicações:
  • A calibração de sub-$k$ não implica a calibração de ranking completo (modificações na distribuição completa podem se cancelar na marginal).
  • A calibração de top-$k$ não implica a calibração de ranking completo.
  • A calibração de sub-$k$ e top-$k$ são incomparáveis; um modelo pode ser calibrado para sub-$k$ mas não para top-$k$, e vice-versa.
  • A calibração por ranking (completa ou de sub-$k$) não implica as noções de calibração marginal mais fortes, nem implica as outras variantes por ranking.

Essas relações sustentam-se para classes gerais de modelos, incluindo os amplamente utilizados modelos Plackett–Luce e Mallows.

Avaliação Empírica

Os autores avaliam modelos populares de ranking de rótulos (Plackett–Luce, Mallows, Ranking por Comparação Pareada e um RankClassifier neural) em conjuntos de dados do mundo real (filmes, política) e modelos de recompensa de RLHF (RewardBench2).

• Métricas: Eles utilizam o Erro de Calibração Esperado (ECE), adaptado para ranking através do agrupamento (binning) de probabilidades previstas e comparação com frequências empíricas. Devido ao crescimento fatorial das classes, eles restringem o cálculo do ECE aos 95% dos rankings observados mais frequentes.
• Análise de RLHF: Eles examinam a correlação entre a calibração (Top-1 ECE) e a acurácia de benchmark no RewardBench2.

Principais Resultados

1. Má Calibração em Modelos Populares: Resultados empíricos mostram que modelos populares de ranking de rótulos (Plackett–Luce, Mallows) são frequentemente mal calibrados, particularmente conforme o número de itens aumenta.
2. Divergência de Métricas: Existem diferenças substanciais entre as métricas de calibração de sub-ranking e top-$k$. Um modelo pode performar bem em uma métrica enquanto falha na outra, confirmando a incomparabilidade teórica.
3. Modelos de Recompensa de RLHF: No contexto de RLHF, a calibração correlaciona-se fortemente, mas não perfeitamente, com a acurácia do benchmark. Isso sugere que a calibração captura uma dimensão de qualidade significativa e distinta da acurácia top-1.
4. Efeitos de Quebra de Ranking (Rank Breaking): Modelos treinados via "quebra de ranking" (ex: aprendendo preferências pareadas e agregando-as em uma distribuição completa) frequentemente exibem má calibração em comparação com modelos treinados diretamente em dados pareados ou rankings completos.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Formalização: Introduz uma hierarquia de noções de calibração adaptada para o ranking de rótulos probabilísticos, indo além das limitações de visualizar o problema como uma classificação multiclasse.
2. Unificação Teórica: Fornece um quadro teórico unificado das relações entre essas noções, provando que a calibração em sub-rankings não implica a calibração em rankings completos, mesmo para modelos padrão como Plackett–Luce e Mallows.
3. Insight Empírico: Demonstra que os aprendizes de ranking de rótulos existentes são frequentemente mal calibrados e que a calibração é uma métrica distinta e valiosa para modelos de recompensa de RLHF, potencialmente oferecendo insights além dos benchmarks de acurácia padrão.

Os autores concluem que esses achados motivam trabalhos futuros sobre a compreensão dos efeitos a jusante da má calibração e o desenvolvimento de métodos específicos para corrigi-la em tarefas de ranking de rótulos. Eles explicitamente observam que, embora seu trabalho seja fundamental, ele destaca a necessidade de técnicas de calibração projetadas especificamente para o ranking de rótulos probabilísticos, em vez de apenas adaptar métodos de classificação.