Resumo Técnico: Aprendizado Supervisionado Condicionado a Objetivos para Ajuste Fino de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) requerem ajuste fino para alinhar seu comportamento à intenção do usuário na implantação. Os paradigmas de alinhamento existentes enfrentam trade-offs significativos:

• Métodos Online (ex: PPO, GRPO): Embora eficazes na otimização da qualidade do resultado, dependem de modelos de recompensa externos e rollouts iterativos. Isso introduz altos custos computacionais, complexidade de engenharia e riscos associados à má especificação do modelo de recompensa.
• Métodos Offline: São mais eficientes, mas sofrem de limitações específicas:
  • Ajuste Fino Supervisionado (SFT): Tipicamente colapsa feedbacks graduados (ex: classificações escalares) em supervisão binária ao aplicar um corte rígido. Isso descarta informações de alta granularidade, torna o desempenho sensível ao limiar de corte e viésa o aprendizado em direção à qualidade média do subconjunto "positivo" selecionado, em vez de encorajar melhoria consistente.
  • Otimização Direta de Preferência (DPO): Evita rollouts online, mas requer dados de preferência pareados (preferido vs. não preferido), que frequentemente estão indisponíveis ou são caros de construir em cenários do mundo real onde apenas feedback escalar ou categórico existe.

O artigo identifica uma lacuna para um framework de ajuste fino offline que possa aproveitar diretamente sinais de feedback graduado sem exigir dados pareados, modelos de recompensa externos ou rollouts online, ao mesmo tempo em que evita o efeito de "aprendizado limitado" do SFT padrão.

Metodologia

Os autores propõem o Aprendizado Supervisionado Condicionado a Objetivos (GCSL) como um framework de ajuste fino offline. A ideia central é tratar sinais de feedback diretamente como objetivos explícitos e treinar o modelo, puramente através de aprendizado supervisionado, para gerar respostas que alcancem esses objetivos.

1. Adaptação Clássica do GCSL Offline

Os autores primeiro adaptam o GCSL clássico (anteriormente usado em RL offline) para LLMs:

• Quantização: Sinais de feedback (pontuações escalares ou julgamentos categóricos) são convertidos em um conjunto finito de rótulos de objetivos usando agrupamento de frequência igual.
• Treinamento: O LLM é ajustado fino como uma política condicionada a objetivos. A entrada consiste em um prompt $x$ e um token de objetivo $g$ (representando um intervalo de qualidade específico), e o modelo prevê a resposta $y$.
• Limitação: Esta abordagem ainda sofre de um gargalo de desempenho. Ao condicionar no token de objetivo mais alto durante a inferência, o modelo meramente imita o comportamento médio das amostras que caem naquele intervalo específico, falhando em aprender explicitamente como exceder aquele nível de qualidade.

2. Melhorias Propostas: GCSL-bey e GCSL-bey-NL

Para superar as limitações do GCSL clássico e do SFT, os autores introduzem duas inovações-chave:

A. Definição de Objetivo Além do Limiar (GCSL-bey)

Em vez de definir um objetivo como pertencente a um intervalo quantizado específico, o objetivo é definido como exceder um limiar de qualidade.

• Mecanismo: Para uma amostra com uma pontuação de feedback $r$ que cai no intervalo $q$, ela é tratada como uma demonstração bem-sucedida para todos os limiares $\tau_k$ onde $\tau_k \leq r$.
• Efeito: Isso expande o conjunto de treinamento. Uma amostra de alta qualidade fornece supervisão positiva para alcançar "pelo menos $\tau_1$", "pelo menos $\tau_2$", até o seu próprio nível.
• Benefício: Esta reformulação desloca o objetivo de aprendizado de imitar a média de um subconjunto fixo para aprender a progressão direcional da qualidade. Ensina o modelo a satisfazer alvos progressivamente mais fortes, encorajando a extrapolação além da qualidade média do intervalo mais alto observado.

B. Representação de Objetivo em Linguagem Natural (GCSL-bey-NL)

Os autores substituem tokens especiais abstratos (ex: [R5]) por instruções em linguagem natural.

• Mecanismo: Os objetivos são expressos como instruções explícitas especificando a métrica-alvo e seus semânticos (ex: "Gere uma resposta com uma pontuação de não toxicidade maior que 0,85. As pontuações de não toxicidade variam de 0 a 1...").
• Benefício: Isso aproveita a compreensão semântica inerente do LLM, suas capacidades de seguimento de instruções e conhecimento de mundo. Permite que o modelo generalize o conceito de "exceder um limiar" em vez de memorizar recipientes discretos de recompensa.

C. Filtragem de Objetivos

Para alinhar o treinamento com a inferência (onde o objetivo é sempre um resultado de alta qualidade), os autores filtram limiares abaixo do desempenho médio do conjunto de treinamento. Isso foca o aprendizado na transição de "bom" para "melhor" em vez de "ruim" para "médio".

Principais Contribuições

1. Reenquadramento do Ajuste Fino: O artigo reenquadra o ajuste fino de LLMs como aprendizado supervisionado condicionado a objetivos, permitindo treinamento a partir de sinais de feedback direto (escalar/categórico) sem dados de preferência pareados ou modelos de recompensa externos.
2. Formulação de Objetivo Inovadora: A introdução do objetivo além-do-limiar aborda a limitação de aprendizado limitado do SFT e do GCSL clássico. Ao formular o aprendizado como a busca consistente por resultados acima de um limiar-alvo, ele impulsiona explicitamente a progressão direcional da qualidade.
3. Objetos em Linguagem Natural: A proposta de usar representações de objetivo em linguagem natural aproveita melhor as capacidades semânticas e de raciocínio dos LLMs, facilitando a generalização para alvos de inferência que podem diferir ligeiramente dos intervalos de treinamento.
4. Validação Empírica: Avaliação extensa em três tarefas distintas demonstra a generalidade e eficácia do método.

Resultados Experimentais

Os autores avaliaram sua abordagem em três tarefas: Geração Não Tóxica, Geração de Código e LLM para Recomendação. Eles compararam seu método (GCSL-bey-NL) com baselines padrão, incluindo SFT, DPO, SimPO, AlphaDPO e métodos online como PPO e Quark.

• Geração Não Tóxica (RealToxicityPrompts): O GCSL-bey-NL alcançou a menor toxicidade máxima média (0,115) e probabilidade tóxica (0,019) entre métodos offline, superando o SFT (0,139) e abordagens baseadas em DPO. Manteve perplexidade competitiva, indicando qualidade de linguagem preservada.
• Geração de Código (Benchmark Mercury): O GCSL-bey-NL alcançou a maior Taxa de Aprovação (0,777) e Pontuação Além (0,714). A vantagem foi particularmente pronunciada em tarefas de dificuldade "Difícil", sugerindo que o método aprende efetivamente a partir de diferenças de qualidade de alta granularidade em cenários complexos.
• Recomendação (Amazon Reviews): O GCSL-bey-NL alcançou o maior NDCG@10 (0,0115) e ERR@10 (0,0054). Os autores notam que métodos baseados em DPO performaram pior que o SFT direto neste cenário, provavelmente devido à dificuldade de construir pares negativos válidos a partir de classificações de itens únicos, enquanto o GCSL aproveitou diretamente o feedback graduado.
• Eficiência: Embora métodos online (PPO, Quark) tenham alcançado desempenho ligeiramente superior, exigiram significativamente mais tempo de treinamento (ex: 24,5h vs. 12,3h para geração de código) e modelos de recompensa externos. O GCSL-bey-NL manteve a alta eficiência e escalabilidade do aprendizado supervisionado padrão, superando todas as outras baselines offline.

Significado e Alegações

O artigo alega que o GCSL-bey-NL oferece uma alternativa prática, eficiente e escalável tanto ao alinhamento baseado em RL online quanto ao SFT/DPO offline padrão.

• Superando o Aprendizado Limitado: A principal contribuição teórica é a demonstração de que tratar o feedback como um "limiar a exceder" em vez de um "intervalo a imitar" permite que os modelos aprendam progressão direcional da qualidade, quebrando efetivamente o teto de desempenho imposto pela qualidade média do subconjunto de treinamento mais alto.
• Generalidade de Dados: O método libera o potencial de vastas quantidades de dados registrados existentes (ex: classificações de usuários, logs de interação) que contêm feedback graduado, mas carecem da estrutura pareada exigida para DPO ou da infraestrutura online exigida para PPO.
• Generalização Semântica: Ao usar linguagem natural para objetivos, a abordagem aproveita as capacidades pré-treinadas dos LLMs para generalizar o comportamento de busca de objetivos, permitindo que o modelo extrapole para alvos que podem não ter estado explicitamente presentes na distribuição de treinamento.

Os autores concluem que este framework preserva a simplicidade e a eficiência de dados do aprendizado supervisionado, ao mesmo tempo em que alcança ganhos de desempenho tipicamente associados a métodos mais complexos baseados em preferência ou de aprendizado por reforço online.