Resumo Técnico: Otimização de Política Owen-Shapley (OSPO)

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em sistemas de recomendação generativa, onde sintetizam preferências do usuário e refinam consultas de busca para condicionar a recuperação e a classificação a jusante. Embora métodos de Aprendizado por Reforço (RL), como a Otimização de Política Relativa a Grupos (GRPO), permitam o treinamento sem modelos de valor paramétricos ao utilizar recompensas terminais em nível de sequência (por exemplo, NDCG de um recuperador), eles sofrem de uma lacuna crítica de atribuição de crédito.

No RL padrão sem modelo de valor, um único escalar de vantagem é atribuído uniformemente a todos os tokens em uma sequência gerada. Isso obscurece quais frases ou segmentos semânticos específicos realmente contribuíram para a saída de alta qualidade. Essa limitação é particularmente aguda em tarefas de recomendação, onde os modelos devem inferir a intenção latente do usuário a partir de linguagem mal especificada, sem rótulos de verdade fundamental. Além disso, a atribuição de crédito uniforme torna os modelos vulneráveis ao hacking de recompensa, onde o modelo superajusta a pistas de nível superficial ou explora atalhos em recuperadores de caixa preta, em vez de aprender representações de consulta robustas e semanticamente coerentes. Soluções existentes, como Modelos de Recompensa de Processo (PRMs), exigem etapas intermediárias rotuladas, e métodos baseados em atenção frequentemente emaranham correlações espúrias.

Metodologia: Otimização de Política Owen-Shapley (OSPO)

Os autores introduzem o OSPO, um framework que redistribui vantagens em nível de sequência com base nas contribuições marginais de segmentos de tokens semanticamente coerentes (coalizões) para o resultado final. O OSPO opera no regime sem crítico, não exigindo redes de valor externas.

Mecanismo Central

1. Segmentação e Coalizões: As respostas geradas são decompostas em $N$ segmentos semanticamente significativos (por exemplo, frases, sentenças). Em vez de avaliar todos os $2^N$ subconjuntos possíveis (intratável), o OSPO restringe a avaliação a coalizões contíguas (segmentos consecutivos). Isso preserva a coerência semântica e reduz a complexidade computacional de exponencial para linear $O(N \cdot w_{max})$, onde $w_{max}$ é a largura máxima da coalizão.
2. Atribuição Owen-Shapley: Utilizando a teoria dos jogos cooperativos, o OSPO calcula valores de Owen para cada segmento. O valor $\phi_j$ de um segmento $j$ é sua contribuição marginal esperada para a recompensa ao ser adicionado a várias coalizões contíguas $S$:
   $$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$$
   Aqui, $v(S)$ é a recompensa obtida ao consultar o recuperador (ou modelo de recompensa) com a sequência parcial formada pela concatenação dos segmentos na coalizão $S$.
3. Redistribuição de Vantagem: A vantagem em nível de sequência $\hat{A}^{(g)}$ (calculada via normalização relativa a grupos no GRPO) é redistribuída para tokens individuais. A vantagem em nível de token $A_t^{(g)}$ é calculada como:
   $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
   onde $\tilde{\phi}_t$ é o valor de Owen normalizado para o segmento do token, e $T$ é o comprimento da sequência. A multiplicação por $T$ garante invariância de comprimento, impedindo que sequências mais longas recebam sinais de gradiente desproporcionalmente mais fracos em comparação com sequências mais curtas.
4. Objetivo: A política é atualizada usando uma função objetivo substituta truncada (semelhante ao PPO/GRPO), mas utilizando essas vantagens de token ponderadas por Owen, de granularidade fina.

Variantes

O artigo avalia três estratégias de redistribuição:

• OSPO-PROP: Redistribuição proporcional baseada em valores de Owen normalizados.
• OSPO-RANK: Redistribui com base na ordem ordinal dos valores de Owen para lidar com estimativas ruidosas.
• OSPO-CLIP: Restringe as vantagens redistribuídas a uma faixa baseada na desigualdade de Chebyshev para estabilidade.

Contribuições Principais

1. Atribuição de Crédito Principiada sem Modelos de Valor: O OSPO preenche a lacuna entre recompensas terminais esparsas e atualizações de token de granularidade fina, aproveitando os valores Owen-Shapley, eliminando a necessidade de críticos aprendidos ou modelos de recompensa de processo.
2. Semântica Baseada em Coalizões: Ao tratar frases semanticamente coerentes como jogadores em um jogo de coalizão, o OSPO identifica quais partes de uma resposta impulsionam a utilidade a jusante (por exemplo, sucesso na recuperação), oferecendo melhor interpretabilidade do que a atribuição uniforme.
3. Eficiência e Escalabilidade: A restrição de coalizões contíguas torna o cálculo tratável para treinamento de RL online, escalando linearmente com o número de segmentos, ao contrário de aproximações quadráticas em trabalhos anteriores baseados em Shapley.
4. Robustez a Mudança de Distribuição: O método aprende representações de consulta agnósticas ao recuperador que generalizam bem para recuperadores não vistos e espaços de incorporação.

Resultados Experimentais

Os autores avaliaram o OSPO em dois conjuntos de dados de comércio eletrônico: Amazon ESCI (refinamento de consulta de busca de produtos) e H&M Fashion (busca contextualizada e sumarização de perfil de usuário).

• Ganhos de Desempenho: O OSPO-PROP superou consistentemente as linhas de base (SFT, DPO, GRPO) em todas as métricas (NDCG, AP, MRR, Recall). No conjunto de dados ESCI, o OSPO-PROP (7B) alcançou um NDCG de 0,522, superando o modelo de 32B (0,496) e o modelo de 72B (0,543, embora o 72B tenha degradado no H&M). No H&M, o OSPO-PROP (7B) atingiu 0,436 de NDCG, superando o GRPO (0,379) e aproximando-se do desempenho do GPT-4o (0,433) com uma fração da contagem de parâmetros.
• Eficiência de Amostra: O OSPO atingiu o desempenho alvo em aproximadamente 50% menos etapas de treinamento do que o GRPO.
• Generalização: Em avaliações cruzadas de recuperadores (treinamento em um modelo de incorporação, teste em outro), o OSPO manteve um desempenho forte, enquanto o GRPO e métodos offline (DPO, SFT) degradaram significativamente. Isso sugere que o OSPO aprende sinais de alinhamento mais transferíveis.
• Estabilidade: O OSPO demonstrou menor variância de recompensa e evitou o colapso de "hacking de recompensa" (por exemplo, gerar sequências vazias ou mínimas) observado no GRPO durante as etapas posteriores do treinamento.
• Estudos de Ablação: Os autores descobriram que coalizões contíguas de largura moderada (por exemplo, $w_{max}=4$ a $8$) com amostragem suficiente proporcionaram o melhor equilíbrio entre contexto local e exploração. Coalizões não contíguas levaram ao colapso de desempenho, e coalizões muito estreitas causaram superajuste a padrões superficiais.

Significado e Alegações

O artigo afirma que o OSPO fornece uma abordagem principiada e sem crítico para resolver o problema de atribuição de crédito em recomendação generativa. Ao mudar da uniformidade em nível de token para a atribuição marginal em nível de segmento, o OSPO permite que os modelos aprendam por que uma resposta foi bem-sucedida, focando as atualizações de gradiente em unidades semânticas de alta contribuição.

Os autores enfatizam que essa abordagem permite que modelos menores (por exemplo, 7B) compitam ou superem modelos muito maiores (32B, 72B) e modelos zero-shot de fronteira (GPT-4o) em tarefas específicas de recuperação. Além disso, a capacidade do método de generalizar para recuperadores e espaços de incorporação não vistos destaca seu potencial para implantação robusta em ambientes de recomendação dinâmicos, onde as preferências verdadeiras são latentes e o feedback é esparsos. O trabalho sugere que atribuições baseadas em coalizões atuam como um regularizador intrínseco, promovendo comportamentos estáveis, transferíveis e interpretáveis sem a sobrecarga computacional de treinar funções de valor.