Resumo Técnico: Onde Surge o Sinal de Autoria em Modelos de Linguagem Baseados em Codificadores?

Declaração do Problema

Os sistemas de atribuição de autoria (AA) tipicamente empregam um paradigma de aprendizado contrastivo onde um codificador de texto pré-treinado gera representações para passagens, e uma função de pontuação compara essas representações para determinar a similaridade de autoria. Trabalhos recentes (Kulumba et al., 2025) revelaram um enigma notável: modelos ajustados finamente com o mesmo codificador pré-treinado, dados de treinamento e perda contrastiva podem exibir uma lacuna de desempenho de quatro vezes baseada exclusivamente em seu mecanismo de pontuação. Especificamente, modelos que usam pooling médio (média dos embeddings de tokens em um único vetor) performam significativamente pior em comparação com aqueles que usam Interação Tardia (LI) (comparação direta de vetores de tokens via MaxSim).

A questão central abordada por este artigo é a fonte dessa discrepância. Duas hipóteses foram consideradas:

1. Hipótese de Aprendizado de Representação: Diferentes mecanismos de pontuação fazem com que o codificador aprenda representações internas fundamentalmente distintas durante o ajuste fino.
2. Hipótese de Leitura (Readout): O codificador aprende representações semelhantes independentemente do pontuador, e a lacuna de desempenho surge de como essas representações são lidas (pontuadas) no momento da inferência.

Metodologia

Os autores empregam ferramentas de interpretabilidade mecânica para distinguir entre disponibilidade de características (se a informação está presente nos estados ocultos) e uso de características (se o mecanismo de pontuação depende causalmente dessa informação). O estudo utiliza a seguinte configuração experimental e ferramentas:

• Modelos: Três modelos ajustados finamente compartilhando uma base ModernBERT-base (23 camadas, 149M parâmetros) foram treinados no corpus HALvest-Contrastive (um corpus acadêmico onde o tópico é descorrelacionado da autoria). Os modelos diferiam apenas em seu mecanismo de pontuação:
  • Por Camada (Pooling Médio): Faz a média dos embeddings de tokens antes da pontuação.
  • Interação Tardia (LI): Usa MaxSim ao nível de token.
  • Interação Tardia por Nível de Patch (PLI): Um híbrido usando patches de bigramas com MaxSim.
  • Um modelo de controle (E5, zero-shot) foi incluído.
• Conjunto de Sondas: Um conjunto curado de 148 tripletas (âncora, positiva, negativa) com comprimentos de token controlados (alvo 130) e estratificados por dificuldade (Nível A: autores disjuntos; Nível B: sobreposição parcial de autores; Nível C: entre domínios).
• Ferramentas de Análise:
  1. Sondas LISA: Provas de regressão linear treinadas em cada uma das 23 camadas do codificador para medir a legibilidade linear de características estilísticas (ex.: comprimento de palavra, densidade de pontuação, frequência de palavras funcionais).
  2. Correção de Fluxo Residual: Uma intervenção causal onde estados ocultos de uma passagem "corrompida" (negativa) são substituídos pelos de uma passagem "limpa" (positiva) em camadas específicas. A recuperação de rank mede se o modelo classifica corretamente a positiva acima da negativa após essa intervenção, identificando a camada onde o sinal de autoria se torna causalmente necessário.
  3. Sensibilidade da Pontuação: Mede a mudança absoluta na saída de pontuação quando as ativações de uma única camada são restauradas.
  4. Dinâmica de Treinamento: Análise de correção aplicada em oito checkpoints de treinamento para observar a evolução da consolidação do sinal.

Principais Resultados

1. A Disponibilidade de Características é Invariante

Os resultados das sondas LISA (Figura 3) mostram que características estilísticas são linearmente legíveis a partir dos estados ocultos de todos os modelos (Pooling Médio, LI, PLI e o controle E5) em todas as camadas com pontuações $R^2$ quase idênticas.

• Implicação: A base pré-treinada já codifica características estilísticas. O ajuste fino contrastivo não cria novas representações estilísticas, nem diferentes pontuadores forçam o codificador a aprender representações diferentes. Isso descarta a Hipótese de Aprendizado de Representação.

2. A Correção Causal Revela um Perfil de Profundidade Dependente da Pontuação

As curvas de recuperação de rank (Figura 4) demonstram um distinto "ponto de consolidação" onde a capacidade do modelo de recuperar a classificação correta depende do mecanismo de pontuação:

• Pooling Médio: A consolidação do sinal ocorre cedo. A recuperação de rank cruza a linha de base de chance na camada 9 e atinge recuperação quase perfeita pela camada 13.
• Interação Tardia (LI) & PLI: A consolidação do sinal é adiada. A recuperação de rank permanece abaixo da chance até as camadas 14–16, atingindo alta recuperação apenas nas camadas finais.
• Lacuna: Há uma lacuna consistente de 6 camadas na profundidade na qual o sinal de autoria se torna causalmente necessário.

3. Estrutura de Gradiente e Perda de Informação

O artigo deriva uma explicação teórica baseada na distribuição de gradientes:

• Pooling Médio: Produz um gradiente denso e uniforme através de todos os tokens. Isso força o codificador a comprimir todas as informações relevantes para a autoria em um único vetor no início da rede para sobreviver ao processo de média. Isso cria um "gargalo de consolidação" e leva à perda de informação (Desigualdade de Processamento de Dados), pois a média invariante a permutações descarta a estrutura posicional.
• Interação Tardia: Produz um gradiente esparsos e seletivo (apenas tokens selecionados por argmax recebem atualizações). Isso permite que o codificador preserve a estrutura por token e adie a consolidação para camadas mais profundas e mais abstratas.

4. Dinâmica de Treinamento

A análise dos checkpoints de treinamento (Figura 6) revela trajetórias de aprendizado distintas:

• Pooling Médio: Aprende de cima para baixo. O modelo inicialmente depende das camadas superiores, e o ponto de consolidação migra para baixo (da camada 15 para a camada 9) à medida que o treinamento progride, recrutando progressivamente camadas mais profundas para satisfazer o gargalo de consolidação precoce.
• Interação Tardia: Mostra um pico transitório em camadas iniciais (camadas 5–10) em etapas intermediárias de treinamento, explorando correspondências léxicas superficiais. À medida que o treinamento continua e os negativos se tornam mais difíceis, o modelo suprime esse atalho e desloca a dependência para camadas mais profundas (19+).
• PLI: Exibe um surgimento gradual sem o pico inicial, mostrando uma protuberância única em camadas médias (camadas 10–15) no checkpoint final.

Significado e Alegações

O artigo alega resolver o enigma da lacuna de desempenho de quatro vezes na atribuição de autoria, demonstrando que o gargalo não está no que o codificador aprende, mas em como o pontuador o lê.

• Dissociação de Disponibilidade e Uso: O estudo fornece evidências empíricas de que alta disponibilidade de características (precisão de sondagem) é um mau proxy para desempenho de tarefa quando os mecanismos de pontuação diferem. Todos os modelos possuem as características estilísticas necessárias; a diferença reside na necessidade causal dessas características em profundidades específicas.
• Mecanismo de Falha: O pooling médio força a consolidação precoce do sinal, o que destrói informações estilísticas de alta granularidade (como ordem de palavras e interações específicas de tokens) necessárias para AA de alto desempenho. A interação tardia preserva essa granularidade permitindo que o modelo utilize representações mais profundas e contextualizadas.
• Contribuição Teórica: O trabalho conecta a estrutura de gradiente da função de pontuação (denso vs. esparsos) diretamente à profundidade da consolidação do sinal no codificador, oferecendo uma explicação mecânica para por que sistemas baseados em interação consistentemente superam representações agrupadas em tarefas de AA.

Os autores concluem que a limitação primária na atribuição de autoria contrastiva não é a capacidade do codificador de codificar estilo, mas a capacidade do mecanismo de pontuação de preservar e explorar esse estilo sem compressão prematura.