Resumo Técnico: Aprendizado de Rubricas Conscientes de Preferência para Avaliação Personalizada

1. Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) transitam de assistentes de uso geral para agentes centrados no usuário, a capacidade de alinhar o comportamento do modelo com as preferências individuais de cada usuário tornou-se crítica. No entanto, avaliar essa personalização permanece um gargalo significativo. Os paradigmas de avaliação existentes falham em capturar os critérios subjetivos e específicos do usuário incorporados nos históricos de interação de longo prazo:

• Métricas Automáticas (ex: ROUGE, BERTScore): Dependem de sobreposição lexical superficial com uma única referência objetiva, falhando em considerar respostas alternativas válidas que se alinham com preferências específicas do usuário.
• Avaliação Humana: Sofre de um "gap inferencial", onde avaliadores externos carecem de acesso direto às preferências latentes de um usuário, tornando a avaliação fiel difícil.
• LLM-as-a-Judge (LLM como Juiz): Embora aproveitem capacidades semânticas, essas abordagens tipicamente dependem de prompts estáticos e manuais e de pontuações holísticas. Elas carecem de adaptabilidade aos usuários individuais e falam em fornecer um embasamento granular e interpretável para seus julgamentos.

O desafio central é ir além do julgamento estático em direção a um paradigma de Avaliação Personalizada como Aprendizado, onde os critérios de avaliação são aprendidos adaptativamente a partir do histórico do usuário para satisfazer três princípios essenciais: Representatividade (destilar fielmente as preferências latentes), Consistência do Usuário (refletir preferências estáveis através de contextos) e Discriminatividade (distinguir respostas autênticas de usuários de saídas de IA genéricas de alta qualidade).

2. Metodologia: Estrutura PARL

Os autores propõem o PARL (Preference-Aware Rubric Learning - Aprendizado de Rubricas Conscientes de Preferência), uma estrutura que formula a avaliação personalizada como um problema de aprendizado. O PARL induz rubricas de avaliação estruturadas e multidimensionais diretamente dos comportamentos históricos brutos do usuário ($H_u$) e as otimiza via aprendizado por reforço. A estrutura opera através de dois módulos principais:

2.1 Indução de Preferência e Validação de Consistência

Este módulo transforma contextos históricos brutos em um conjunto compacto de rubricas conscientes de preferência ($R_u$).

• Geração de Rubrica: Um modelo gerador $G$ induz um conjunto candidato de rubricas atômicas e de dimensão única ($\tilde{R}_u$) a partir de um histórico semente ($\tilde{H}_u$). Diferente de resumos holísticos, cada rubrica captura um invariante estilístico, estrutural ou semântico específico.
• Autoverificação: Para garantir a Consistência do Usuário, as rubricas candidatas passam por um processo de autoverificação. Uma rubrica é mantida apenas se demonstrar satisfação universal através das diversas amostras do histórico semente. Formalmente, uma rubrica $r_j$ é mantida se:
  $$\frac{1}{|\tilde{H}_u|} \sum_{(x_i, y_i) \in \tilde{H}_u} I(y_i \models r_j) \geq \tau$$
  onde $\tau$ é um limiar de consistência elevado (ex: 1.0). Isso filtra artefatos transitórios ou específicos de tarefas.

2.2 Otimização Discriminativa via RL

Para garantir a Discriminatividade, a estrutura emprega um estágio de Aprendizado por Reforço (RL) para aguçar as fronteiras de decisão entre respostas autênticas escritas pelo usuário e alternativas competitivas geradas por métodos personalizados de IA.

• Objetivo: O gerador $G_\theta$ é otimado para maximizar a margem de pontuação entre a resposta real do usuário ($y_T$) e um conjunto de amostras negativas ($Y_{neg}$) geradas por métodos personalizados competitivos.
• Formulação de Recompensa: A estrutura define um Produto de Margem Discriminativa $\Gamma(R_u)$, representando a probabilidade conjunta de que a resposta real do usuário seja superior a todas as negativas. Duas variantes são propostas:
  • PARL-A (Escalado pela GT): Integra a satisfação absoluta da verdade fundamental (Ground Truth - GT) com a margem relativa ($R_A = \lambda \cdot C \cdot S(y_T; R_u) \cdot \Gamma(R_u)$).
  • PARL-B (Apenas Margem): Baseia-se exclusivamente na margem relativa ($R_B = \lambda \cdot C \cdot \Gamma(R_u)$).
• Otimização: O modelo é treinado usando Group Relative Policy Optimization (GRPO), que explora o espaço de critérios de avaliação sem exigir uma função de valor separada.

2.3 Mecanismo de Avaliação

As rubricas induzidas finais $R_u$ são usadas para calcular uma pontuação de alinhamento personalizado $S$ para uma nova saída de modelo $\hat{y}$:
$$S = \frac{1}{m} \sum_{j=1}^{m} I(\hat{y} \models r_j)$$
Isso fornece uma avaliação verificável e granular onde a pontuação é a média normalizada de julgamentos binários através de todas as dimensões aprendidas.

3. Principais Contribuições

1. Mudança de Paradigma: O artigo introduz o Aprendizado de Avaliação Personalizada, formalizando a avaliação como um processo aprendível fundamentado em Representatividade, Consistência do Usuário e Discriminatividade, em vez de um julgamento estático.
2. Estrutura PARL: Uma estrutura inovadora que induz rubricas conscientes de preferência a partir de históricos de usuários e as otimiza usando um objetivo de aprendizado por reforço discriminativo para capturar fronteiras de decisão precisas e específicas do usuário.
3. Validação Empírica: Experimentos extensos em tarefas reais de geração de texto personalizada (Amazon Review, Reddit Topic, News Headline) demonstram que o PARL induz rubricas de alta fidelidade que superam as linhas de base existentes na identificação de respostas alinhadas ao usuário.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados usando modelos Qwen3 como backbones. As principais descobertas incluem:

• Alinhamento Superior: As variantes PARL-A e PARL-B alcançaram consistentemente a maior Acurácia ao nível do Usuário (a proporção de vezes que a rubrica identificou corretamente a resposta real do usuário como satisfatória de todos os critérios) em todas as tarefas. Por exemplo, na Geração de Reviews da Amazon, o PARL-A alcançou 0,931 de acurácia para a Verdade Fundamental (GT), superando significativamente as linhas de base estáticas como LM-8B (0,931) e LM-235B (0,794).
• Poder Discriminativo: A métrica Max-Diff (diferença entre a acurácia da GT e a mais forte linha de base não-GT) foi significativamente positiva para as variantes PARL (ex: +0,026 para Amazon Review), enquanto modelos estáticos frequentemente mostraram margens próximas de zero ou negativas, indicando que não conseguiam distinguir o estilo autêntico do usuário de saídas de IA.
• Robustez e Cobertura: As variantes PARL alcançaram Cobertura de Usuário quase completa (~99-100%), enquanto modelos pré-treinados estáticos sofreram com baixa cobertura (ex: 49,1% para LM-8B) devido à geração frequente de critérios inutilizáveis ou alucinados.
• Generalização: Em avaliações fora do domínio (OOD), PARL-A e PARL-B mantiveram fortes capacidades discriminativas, sugerindo que as rubricas aprendidas capturam invariantes estilísticos persistentes em vez de ruído específico do conjunto de dados.
• Diversidade Semântica: Análises intrínsecas revelaram que as rubricas induzidas pelo PARL exibem uma dispersão estruturada no espaço semântico, capturando diversos traços do usuário, enquanto modelos estáticos e o PARL-0 (sem RL) mostraram colapso semântico ou agrupamento estreito.

5. Significância e Alegações

O artigo afirma que o PARL aborda um gargalo crítico na personalização de LLMs ao fornecer uma estrutura de avaliação sem referência, explícita e interpretável. Ao contrário das abordagens de modelagem de recompensa que emaranham a representação de preferência com a otimização de política, o PARL desacopla a avaliação da geração, permitendo benchmarks principísticos entre modelos e tarefas.

Os autores enfatizam que seu trabalho defende o tratamento da avaliação personalizada como um processo aprendível e adaptável, impulsionado pela inferência de preferências a partir do histórico do usuário, em vez de um julgamento estático. As rubricas induzidas servem como métricas de alta fidelidade que não apenas avaliam o alinhamento, mas também oferecem insights sobre a estrutura das preferências avaliativas específicas do usuário.

Limitações: Os autores reconhecem modestamente que a eficácia da estrutura depende da qualidade e quantidade do histórico do usuário (com dificuldades em cenários de cold-start) e assume que as preferências são assinaturas estáticas em um único ponto no tempo, sem modelar explicitamente a evolução temporal. Eles também observam que, embora o PARL alcance resultados promissores, ainda não atingiu um estado onde a acurácia da GT ao nível do usuário seja consistentemente 1,0 e a cobertura seja de 100% para todos os usuários, particularmente para aqueles com preferências inconsistentes.