When New Generators Arrive: Lifelong Machine-Generated Text Attribution via Ridge Feature Transfer

Resumo Técnico: RidgeFT para Atribuição de Texto Gerado por Máquina em Aprendizado Contínuo (Lifelong)

1. Definição do Problema

O artigo aborda a Atribuição de Texto Gerado por Máquina (MGT) em Aprendizado Contínuo (Lifelong), um cenário onde um modelo de atribuição deve identificar continuamente o gerador específico responsável por um texto à medida que novos Modelos de Linguagem de Grande Escala (LLMs) surgem ao longo do tempo. Diferente das tarefas de atribuição estáticas com um conjunto fixo de geradores, este cenário é dinâmico e aberto.

O desafio central é o equilíbrio entre adaptação (aprender novas classes de geradores) e retenção (preservar a capacidade de reconhecer geradores vistos anteriormente). Os métodos existentes frequentemente falham em equilibrar esses objetivos:

• O retreinamento total é impraticável devido aos custos computacionais, restrições de licenciamento de dados e indisponibilidade de dados históricos.
• O aprendizado contínuo via ajuste fino (fine-tuning) frequentemente leva ao esquecimento catastrófico, onde a atualização do modelo para novas classes desestabiliza as fronteiras de decisão das classes antigas.
• O replay baseado em exemplares (armazenar textos brutos passados) levanta preocupações de privacidade e sobrecarga de armazenamento.

O objetivo é desenvolver um framework que incorpore novos geradores de forma eficiente sem realizar o replay de dados históricos ou atualizar continuamente o codificador de texto profundo, mantendo assim um espaço de representação estável.

2. Metodologia: RidgeFT

Os autores propõem o RidgeFT, um framework de atualização analítica leve e livre de exemplares (exemplar-free). Em vez de realizar o ajuste fino contínuo do codificador profundo, o RidgeFT congela um codificador consciente da tarefa (task-aware) treinado no conjunto inicial de geradores e realiza atualizações incrementais usando regressão de Ridge de forma fechada baseada em estatísticas suficientes compactas.

O pipeline consiste em três estágios sequenciais:

A. Calibração de Covariância
Para mitigar variações irrelevantes ao gerador (ex: tópico, domínio, comprimento do texto) que atuam como ruído de alta variância no espaço de características, o RidgeFT aplica uma transformação de branqueamento fracionário (fractional whitening transformation).

• Ele calcula uma matriz de dispersão intra-classe ($S_w$) a partir dos dados de treinamento iniciais.
• Aplica o encolhimento por escala de traço (trace-scaled shrinkage) para garantir estabilidade na estimação da covariância de alta dimensão.
• Realiza uma decomposição de autovalores fracionária para atenuar direções de ruído dominantes, preservando a geometria discriminativa original.
• Esta transformação é fixa após a inicialização, garantindo que as atualizações incrementais não exijam revisitar os textos brutos antigos.

B. Elevação por Características Aleatórias Isotrópicas
Para aumentar a capacidade expressiva do classificador analítico sem introduzir parâmetros treináveis que possam deslocar o espaço de representação, o RidgeFT mapeia as características calibradas para um espaço de características aleatórias não lineares fixo.

• Uma matriz aleatória Gaussiana não treinável ($R$) é amostrada uma única vez antes do início do aprendizado incremental.
• As características calibradas são projetadas através desta matriz, passam pela função ReLU e são normalizadas (Layer Normalization).
• Esta projeção isotrópica fornece uma base agnóstica à tarefa que expande o espaço de representação uniformemente, evitando o viés de projeções ajustadas apenas às classes iniciais.

C. Regressão de Ridge Balanceada por Classe
O cabeçalho de classificação é atualizado via regressão de Ridge de forma fechada utilizando apenas estatísticas de segunda ordem suficientes.

• Para cada classe, o sistema armazena três estatísticas no espaço de características aleatórias: a estatística de segunda ordem ($A_c = \sum z_i z_i^\top$), a estatística de primeira ordem ($q_c = \sum z_i$) e a contagem de amostras ($N_c$).
• Para abordar o desequilíbrio causado por tamanhos de amostra variáveis (onde classes maiores dominam a solução de Ridge), o método introduz pesos de frequência inversa ($\omega_c$) baseados nas contagens de classe.
• Os pesos finais do classificador ($W$) são computados analiticamente: $W = (\bar{A} + \lambda I)^{-1} \bar{B}$, onde $\bar{A}$ e $\bar{B}$ são as somas ponderadas das estatísticas suficientes.
• Quando um novo gerador chega, o sistema computa as estatísticas para a nova classe, atualiza as somas ponderadas e resolve o sistema linear. Nenhum texto bruto das classes antigas é jamais reproduzido (replayed).

3. Principais Contribuições

1. Formulação do Problema: O artigo identifica a atribuição de MGT em aprendizado contínuo como um problema de evolução de geradores que requer a supressão de variações incômodas (tópico, domínio) enquanto preserva as fronteiras de decisão específicas do gerador sob uma restrição livre de exemplares.
2. Framework RidgeFT: Introduz um framework de atualização analítica combinando calibração de covariância fracionária, elevação de características aleatórias isotrópicas e regressão de Ridge de forma fechada balanceada por classe. Isso permite atualizações incrementais usando apenas estatísticas suficientes compactas por classe.
3. Validação Empírica: Experimentos extensos em múltiplos tópicos (Acadêmico, Redes Sociais), geradores alvo e modelos de base (DeBERTa, RoBERTa) demonstram que o RidgeFT supera os principais baselines de aprendizado contínuo.

4. Resultados Experimentais

Os autores avaliaram o RidgeFT utilizando os protocolos P3, P4 e P5 (começando com 3, 4 ou 5 classes iniciais e adicionando novas incrementalmente) em conjuntos de dados incluindo MGT-Academic e AIGTBench.

• Desempenho: Sob o protocolo padrão P5, o RidgeFT alcançou um macro-F1 de 0,886, superando o baseline mais forte de aprendizado contínuo em 0,037 em F1-total.
• Retenção vs. Adaptação: O RidgeFT alcançou um F1 de classe antiga de 0,902 e um F1 de classe nova de 0,804. Notavelmente, ele melhorou o F1 da classe nova em 0,107 em relação ao melhor baseline, indicando uma adaptação superior a novos geradores enquanto mantém uma forte retenção dos antigos.
• Robustez: O método permaneceu estável mesmo quando a proporção de dados da nova classe foi reduzida para 5%, demonstrando alta eficiência de dados.
• Estudos de Ablação: Todos os três componentes (Branqueamento, Elevação de Características Aleatórias, Ridge Balanceada por Classe) mostraram-se complementares. O componente de Ridge Balanceada por Classe foi particularmente eficaz em mitigar o viés entre classes antigas e novas.
• Eficiência de Armazenamento: Embora não seja livre de armazenamento, o RidgeFT permite uma compressão significativa. O uso de estatísticas fundidas em precisão bf16 reduziu os requisitos de armazenamento em 16,9× (para ~46 MiB) com perda de desempenho negligenciável.

5. Significância e Alegações

O artigo afirma que atualizações analíticas estáveis em termos de características fornecem uma abordagem simples e eficaz para a atribuição de MGT em aprendizado contínuo. Ao desacoplar o aprendizado de novos geradores da atualização da representação profunda, o RidgeFT evita o desvio de representação associado ao ajuste fino e a sobrecarga de memória do replay de exemplares.

Os autores posicionam o RidgeFT como uma solução escalável para implantações no mundo real, onde sistemas de atribuição devem evoluir com a rápida emergência de novos LLMs. Eles enfatizam que seu método oferece um equilíbrio superior entre reter o conhecimento de geradores estabelecidos e se adaptar a novos, abordando um desafio central não resolvido na área.

Limitações Reconhecidas pelos Autores:

• Armazenamento: O método é livre de replay, mas não livre de armazenamento, pois exige o armazenamento de parâmetros de covariância e estatísticas suficientes.
• Multilinguismo: Os experimentos foram conduzidos principalmente em inglês; a extensão para cenários multilíngues é sugerida como trabalho futuro.
• Estabilidade de Longo Prazo: Os autores observam que o espaço de representação fixo pode eventualmente tornar-se insuficiente se os geradores futuros diferirem significativamente do conjunto de treinamento inicial, sugerindo a necessidade de adaptação periódica do codificador em implantações de longuíssimo prazo.