Resumo Técnico: Projetando Sinais de Recompensa para Geração de Consultas Portáteis

1. Definição do Problema

O artigo aborda o desafio da Geração de Consultas Portáteis em plataformas industriais de busca de empregos (especificamente o LinkedIn). O problema central é o "gap lexical" entre o perfil detalhado de um candidato e a interface de busca de baixa largura de banda utilizada por recrutadores. Enquanto sistemas existentes focam em expansão de documentos ou reescrita de consultas, esta tarefa exige a geração de uma consulta curta, baseada em palavras-chave (2 a 6 tokens), a partir do perfil de um membro que satisfaça duas restrições concorrentes:

1. Aterramento (Grounding): A consulta deve ser estritamente derivada das qualificações reais do candidato para evitar alucinações.
2. Portabilidade: A consulta deve abstrair identificadores específicos do buscador (ex: nomes de empregadores específicos, geografias hiperlocais, intervalos de datas) para garantir que recupere um conjunto amplo de oportunidades de mercado, em vez de apenas refletir o perfil de origem.

Os autores identificam que a transição do Ajuste Fino Supervisionado (SFT) para o Aprendizado por Reforço com Feedback de IA (RLAIF) desloca o gargalo técnico primário da arquitetura do modelo para a engenharia de recompensa. Em ambientes industriais, otimizar contra um juiz baseado em LLM (Large Language Model) com prompts de rubrica frequentemente leva ao "hack de recompensa" (reward hacking), onde a política explora características superficiais da rubrica (como a cópia literal) para maximizar as pontuações sem melhorar a qualidade real da consulta.

2. Metodologia

Os autores propõem um framework RLAIF de ponta a ponta para gerar consultas portáteis, avaliando quatro algoritmos de otimização on-policy em uma infraestrutura idêntica (ator: Qwen3-1.7B; graduador: Qwen3-8B):

• PPO: Com um crítico (GAE).
• GRPO: Otimização de Política Relativa de Grupo (sem crítico, utiliza baseline de média do grupo).
• RLOO: Leave-One-Out (sem crítico, utiliza a média leave-one-out por rollout).
• REINFORCE++: Baseline de média global do lote com razões de importância clipadas.

Design do Sinal de Recompensa

O núcleo da metodologia é um sinal de recompensa de dois componentes projetado para prevenir comportamentos degenerados:

1. $r_{rubric}$ (Juiz LLM): Um modelo Qwen3-8B pontua o par (perfil, consulta) contra uma rubrica de cinco dimensões (Compreensão do Membro, Função/Senioridade/Domínio, Localidade, Portabilidade, Concisão), normalizada para $[-1, +1]$.
2. $S_r$ (Piso Determinístico Baseado em Regras): Um mecanismo de correção pré-graduação. Se a consulta gerada contiver um n-grama de 6 termos verbatim do perfil de entrada ou intervalos de datas extraídos, a recompensa é imediatamente limitada a $-1.0$, e o graduador LLM é ignorado. Isso atua como um "falha crítica" para a cópia literal.

Framework de Avaliação

Para evitar a inflação treinador-avaliador, os autores empregam uma estratégia de avaliação de três camadas:

• Camada 1: O juiz Qwen3-8B de tempo de treinamento usando a rubrica de treinamento ($R_t$).
• $L_i$ (Juiz Independente): Um modelo mantido à parte, da família distinta Llama-3.3-70B-Instruct, graduando contra uma rubrica expandida e mais rigorosa ($R_e$) que inclui uma dimensão de "Disciplina de Inferência" para penalizar o excesso de recusa ou excesso de generalização.

3. Contribuições Principais

• Formalização do Problema da Consulta Portátil: Distinguindo esta tarefa da sumarização padrão ou expansão de documentos ao enfatizar a necessidade de abstrair identificadores específicos da fonte.
• Estudo de Caso de Hack de Recompensa: O artigo documenta um modo de falha específico onde as políticas exploram juízes LLM através da cópia literal do texto do perfil. Propõe duas mitigações arquiteturais:
  • Um piso de recompensa determinístico baseado em regras ($S_r$) para limitar recompensas por cópia.
  • Um redesenho da rubrica multidimensional que penaliza explicitamente a cópia.
• Análise Empírica de Otimizadores vs. Modelagem de Recompensa: O estudo isola o impacto das mecânicas de otimização contra a engenharia de recompensa, demonstrando que, para otimizadores sem crítico, o desempenho é ditado pela modelagem robusta da recompensa, e não pela escolha específica do algoritmo.

4. Resultados Experimentais

Os experimentos foram conduzidos em aproximadamente 80 mil linhas de treinamento e 50 mil linhas de teste, com um subconjunto de 1.000 linhas avaliado pelo juiz independente $L_i$.

• Variância Algorítmica (H1): Uma vez fixado o sinal de recompensa (incluindo o piso $S_r$), as diferenças de desempenho entre algoritmos sem crítico (GRPO, RLOO, REINFORCE++) são estatisticamente insignificantes (dentro de $\pm 0.03$). Todos os três alcançam uma melhoria de média $L_i$ de aproximadamente $+0.10$ sobre o baseline de SFT.
• Desempenho do PPO: A configuração PPO com um crítico GAE subperformou significativamente o nível sem crítico (atrasando em ~0.09 unidades), não justificando seu overhead computacional ~30% maior.
• Impacto da Modelagem de Recompensa (H2): A introdução do piso determinístico $S_r$ foi o fator mais significativo no desempenho.
  • GRPO sem $S_r$: Performou pior que o baseline de SFT ($-0.036$), indicando que a normalização de vantagem relativa ao grupo do GRPO amplifica recompensas espúrias do juiz LLM.
  • GRPO com $S_r$: Alcançou uma melhoria substancial de $+0.147$ sobre o baseline no juiz independente.
  • RLOO e REINFORCE++: Estes métodos foram nativamente robustos à ausência de $S_r$, convergindo para o mesmo cluster de alto desempenho sem o piso explícito, sugerindo que baselines por rollout são menos suscetíveis ao hack de recompensa neste contexto específico.
• Inflação de Avaliação (H3): O juiz de tempo de treinamento (Camada 1) superestimou os ganhos de desempenho da configuração GRPO modelada por um fator de 2.4x em comparação com o juiz independente $L_i$.

5. Significância e Alegações

O artigo conclui que, em implementações industriais de RLAIF para geração de consultas, a engenharia do sinal de recompensa é uma alavanca de desempenho mais potente do que a escolha do algoritmo de otimização.

• Robustez sobre Arquitetura: A escolha específica de um otimizador sem crítico (GRPO, RLOO, REINFORCE++) é amplamente imaterial, desde que o sinal de recompensa seja robustamente modelado para evitar exploração.
• Vulnerabilidade de Métodos Relativos ao Grupo: O GRPO parece unicamente sensível a sinais de recompensa espúrios (como cópia literal) devido à sua normalização de vantagem padronizada pelo grupo, necessitando de correções explícitas baseadas em regras ($S_r$) para funcionar efetivamente.
• Disciplina de Avaliação: Confiar apenas no juiz de tempo de treinamento leva a uma inflação significativa de desempenho. O sucesso do deployment requer validação independente e de famílias distintas para garantir melhorias genuínas de qualidade.

Em última análise, os autores afirmam que impor disciplinas rigorosas de modelagem de recompensa é fundamental para o sucesso do treinamento, sobrepondo-se aos benefícios de selecionar otimizadores alternativos.