Resumo Técnico: ARCA: Atribuição de Crédito Residual de Adaptador Quando Sinais de Token Degeneram

1. Definição do Problema

O Aprendizado por Reforço (RL) para Grandes Modelos de Linguagem (LLMs) enfrenta um desafio persistente na atribuição de crédito: distribuir uma recompensa de nível de trajetória esparsa (ex: a correção de uma resposta final) através de centenas ou milhares de decisões ao nível de token. A literatura recente propôs vários esquemas de ponderação intrínseca ao nível de token — como surprisal, redução de entropia e divergência de política — para redistribuir esse crédito de forma mais eficaz do que a alocação uniforme.

Simultaneamente, os pipelines práticos de LLM-RL dependem cada vez mais de Ajuste Fino de Parâmetros Eficientes (PEFT), especificamente LoRA (Low-Rank Adaptation), devido a restrições de memória e computação. No entanto, essas duas linhas de pesquisa desenvolveram-se isoladamente. Este artigo argumenta que essa separação cria um modo de falha estrutural: sinais de crédito intrínsecos derivados de distribuições de saída (log-probabilidades) degeneram sob as restrições geométricas do LoRA.

Sob o LoRA, a política é restrita a uma vizinhança de baixo rank de um modelo de referência congelado. Consequentemente, as diferenças por token nas distribuições de saída (surprisal, entropia, divergência) nas quais os esquemas de ponderação padrão se baseiam tornam-se:

1. Uniformemente transmitidas: O sinal torna-se plano porque as perturbações induzidas pelo LoRA são pequenas demais para superar a incerteza dominante do modelo base.
2. Espuriosamente esparsas: Artefatos de normalização concentram o crédito em um conjunto minúsculo e agnóstico à tarefa de posições de tokens.

Em ambos os casos, o sinal de ponderação falha em refletir onde o adaptador realmente aprende a agir, tornando o mecanismo de atribuição de crédito ineficaz antes mesmo do início do treinamento.

2. Metodologia

2.1. Diagnóstico de Degeneração

Os autores formalizam a degeneração dos sinais intrínsecos sob adaptação de baixo rank. Eles definem a política $\pi_\theta$ como uma perturbação de uma política de referência $\pi_{ref}$ via um adaptador LoRA.

• Surprisal e Entropia: A perturbação nas log-probabilidades é limitada pelo rank e pelas normas do adaptador. Em um modelo base bem treinado, a perturbação de primeira ordem é dominada pelo padrão de incerteza existente do modelo base, em vez das atualizações específicas do adaptador.
• Divergência de Política: A divergência $|\log \pi_\theta - \log \pi_{ref}|$ é restringida pelo orçamento de KL imposto pelo adaptador de baixo rank. Isso força as razões de log-probabilidade por token a serem pequenas e aproximadamente uniformes.
• Consequência: Quando esses escores são normalizados dentro de uma trajetória (como exigido para atualizações de gradiente), os pesos resultantes aproximam-se de uma distribuição uniforme ($Gini \approx 0$) ou colapsam em uma distribuição esparsa espúria ($Gini \approx 1$, Baixa Razão de Tokens Efetivos), falhando em rastrear a dinâmica real de aprendizado do adaptador.

2.2. Solução Proposta: ARCA

Para contornar este modo de falha, os autores propõem a Atribuição de Crédito Residual de Adaptador (ARCA). Em vez de medir propriedades da distribuição de saída (que são achatadas pelo LoRA), o ARCA mede a contribuição direta do adaptador para os estados ocultos.

• Definição: Para um token na posição $t$, o escore de saliência $\alpha^{ARCA}_t$ é definido como a norma $L_2$ do resíduo do adaptador:
  $$\alpha^{ARCA}_t(x, y) = \|h^{adapted}_t - h^{base}_t\|_2$$
  onde $h^{adapted}_t$ é o estado oculto com o adaptador habilitado, e $h^{base}_t$ é o estado oculto com o adaptador desabilitado.
• Implementação: Isso requer uma única passagem extra de forward por minibatch com o adaptador desabilitado (uma operação padrão em frameworks de PEFT como o PEFT para calcular regularizadores KL). Não são necessários cabeças de valor aprendidas, modelos de recompensa ou construções de árvore.
• Justificativa Teórica: Embora o impacto do adaptador sobre os logits de saída seja limitado a ser pequeno e uniforme, seu impacto sobre as ativações dos estados ocultos retém variação de posição para posição. Isso ocorre porque as ativações de entrada do adaptador (passando pelo mecanismo de atenção e MLPs) são não uniformes através da sequência (distinguindo conteúdo de preenchimento). Assim, a norma do resíduo $\|\Delta h_t\|$ fornece um sinal não degenerado e consciente do adaptador de onde o modelo está realmente mudando.

3. Principais Contribuições

1. Identificação de um Modo de Falha Específico de PEFT: O artigo formaliza como os sinais de crédito baseados na distribuição de saída (surprisal, entropia, divergência) degeneram sob LoRA, levando a pesos de tokens uniformes ou esparsamente espúrios que não refletem o aprendizado do adaptador.
2. Introdução do ARCA: Uma regra de atribuição de crédito leve e consciente da adaptação que deriva a saliência do token a partir do resíduo do estado oculto do adaptador. Ele não requer parâmetros aprendidos adicionais além do próprio adaptador LoRA.
3. Validação Empírica: Os autores fornecem diagnósticos de concentração (coeficiente de Gini e Razão de Tokens Efetivos) e benchmarks de desempenho no dataset MATH usando Qwen3-1.7B. Eles demonstram que o ARCA mantém uma distribuição de crédito não degenerada no regime de baixo rank onde os baselines falham, permanecendo competitivo em desempenho downstream.

4. Resultados Experimentais

4.1. Configuração

• Modelo/Tarefa: Qwen3-1.7B-Base ajustado via Group Relative Policy Optimization (GRPO) usando o dataset MATH.
• Baselines: Ponderação Uniforme, Surprisal, Redução de Entropia e Divergência de Política (todos com rank LoRA $r=64$).
• Variantes ARCA: Testadas em ranks $r=4, 16, 64$.
• Métricas: Acurácia greedy (greedy accuracy), pass@4, e diagnósticos de concentração de peso de token (Gini, Razão de Tokens Efetivos).

4.2. Resultados de Diagnóstico (Atribuição de Crédito)

• Baselines: A ponderação por Surprisal, Entropia e Divergência exibiu comportamento degenerado sob LoRA. Suas razões de tokens efetivos foram extremamente baixas (0.052–0.073), indicando esparsidade espúria onde o crédito foi concentrado em uma fração minúscula de tokens, e os coeficientes de Gini estavam próximos de 1.
• ARCA: Ocupou um "regime intermediário". No rank 64, o ARCA alcançou um Gini de 0.490 e uma razão de tokens efetivos de 0.334. Isso confirma a afirmação teórica: o ARCA produz um sinal não uniforme que não degenera em esparsidade espúria, rastreando efetivamente onde o adaptador atua.

4.3. Resultados de Desempenho

• Comparação de Rank Correspondente (r=64): O ARCA (r=64) foi competitivo com os baselines.
  • Acurácia Greedy: O ARCA (0.590) ficou atrás da Uniforme (0.620), mas superou a Surprisal (0.520) e a Divergência de Política (0.565).
  • Pass@4: O ARCA (0.680) foi competitivo com a Redução de Entropia (0.700) e a Uniforme (0.675).
• Controles de Baixo Rank: O ARCA em ranks menores (r=4, r=16) não superou os baselines de rank-64, o que é consistente com um tradeoff entre capacidade e desempenho, em vez de um artefato de parâmetros extras.

5. Significância e Alegações

O artigo alega modestamente fornecer uma explicação mecanística para a instabilidade e falha do GRPO de token total + LoRA observadas em trabalhos anteriores (ex: Lee & Tong, 2025). Argumenta-se que a falha não está no objetivo de RL em si, mas na interação entre a estratégia de adaptação (LoRA) e o sinal de atribuição de crédito.

A significância do ARCA reside em sua capacidade de:

1. Desacoplar a Atribuição de Crédito da Distribuição de Saída: Ao medir os resíduos dos estados ocultos, o ARCA evita as restrições geométricas que achatam os sinais de distribuição de saída no LoRA.
2. Fornecer uma Alternativa Leve: Não requer críticos aprendidos, cabeças de valor ou estruturas de árvore complexas, tornando-o compatível com pipelines RLVR sem crítico.
3. Restaurar Sinais Não Degenerados: Garante que a atribuição de crédito ao nível de token permaneça significativa e consciente do adaptador, mesmo quando a política é restrita a uma vizinhança de baixo rank.

Os autores enfatem que o sweep MATH/Qwen3-1.7B é uma validação direcionada do mecanismo, e não um benchmark amplo que reivindica superioridade universal. A principal contribuição é demonstrar que a atribuição de crédito consciente da adaptação altera a geometria das atualizações de token da maneira prevista, oferecendo um caminho viável para a atribuição de crédito ao nível de token em RL de parâmetros eficientes.