SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization

Resumo Técnico: SURGELLM

Definição do Problema
Codificadores (encoders) ajustados (fine-tuned) e implantados em tarefas de Processamento de Linguagem Natural (PLN) heterogêneas enfrentam três desafios compostos:

1. Vieses Indutivos Desajustados: Tarefas com diferentes vocabulários, espaços de rótulos e registros (ex: análise de sentimento vs. recuperação multi-salto) interferem destrutivamente quando gerenciadas por um único codificador compartilhado.
2. Corrupção por Desbalanceamento de Classes: O desvio severo de classes nos dados de treinamento contamina as estatísticas de características, fazendo com que as camadas de normalização enviesem o modelo em direção à classe majoritária.
3. Falta de Condicionamento Externo: Codificadores padrão carecem de um mecanismo para condicionar a atenção a conhecimentos lexicais externos curados (ex: indicadores estilométricos) que podem ser descartados ou subutilizados durante o ajuste fino, especialmente quando o truncamento de sequência destrói estatísticas globais.

Metodologia: O Framework SURGELLM
O SURGELLM é um framework transformer unificado projetado para abordar esses problemas por meio de três módulos dedicados e leves, integrados a um backbone de codificador padrão (ex: BERT, RoBERTa).

1. Extração Cirúrgica de Características:
   O framework utiliza um "vocabulário cirúrgico" consistindo em dez grupos de indicadores lexicais curados (ex: polaridade de sentimento, marcadores específicos de LLM, pistas de recuperação) mais seis características de superfície (contagem de palavras, densidade de pontuação, etc.). Estas são computadas no texto completo, não truncado, para gerar um vetor de características de 16 dimensões $s \in \mathbb{R}^{16}$.

2. Tokens de Prefixo Condicionados pela Tarefa:
   Para injetar os valores das características diretamente no mecanismo de atenção, o sistema precede cada entrada com uma sequência de tokens estruturada: [TASK:tk | F1:v1 | ... | F16:v16]. Esses tokens são co-atendidos por todas as camadas do transformer, permitindo que as camadas inferiores condicionem as características lexicais ao contexto do nível do token.

3. Portão de Características Cirúrgicas (Surgical Feature Gate):
   Um portão sigmoide aprendido por dimensão funde a representação [CLS] condicionada pela tarefa ($\tilde{h}$) com uma projeção não linear do vetor de características cirúrgicas ($s'$).

• Mecanismo: O portão computa um peso de interpolação $g \in (0,1)^d$ para cada dimensão oculta, permitindo que o modelo misture seletivamente saídas semânticas do codificador com características lexicais.
• Segurança: O portão é projetado para degenerar provadamente para uma função identidade quando as características não são informativas, garantindo que não prejudique o desempenho caso os sinais lexicais sejam irrelevantes.

4. Normalização Ponderada por Instância (IWN - Instance-Weighted Normalization):
   Esta é a inovação central que aborda o desbalanceamento de classes. A normalização padrão utiliza estatísticas globais ($\bar{s}, \sigma$) calculadas sobre todo o conjunto de treinamento, que são dominadas pela classe majoritária em conjuntos de dados enviesados. O IWN substitui estas por estatísticas balanceadas por classe ($\bar{s}_{bal}, \sigma_{bal}$), calculadas como a média das estatísticas por classe.

• Efeito: Isso remove o viés de prior de classe da distribuição de entrada do portão sem exigir rótulos em tempo de teste. Atua como uma correção de estatística de característica ortogonal às correções do lado da perda ou de amostragem.

Principais Contribuições

• Framework Unificado: Um codificador multi-tarefa compatível com plug-in que integra portões de características por dimensão, tokens de prefixo condicionados pela tarefa e IWN.
• Garantias Teóricas:
  • Um limite de risco excessivo (Teorema 1) ligando o benefício do portão ao "alinhamento de característica cirúrgica" ($\rho_k$).
  • Um resultado de degenerescência (Proposição 2) provando que o portão é seguro (degenerando para identidade) quando as características não são informativas.
• Normalização Inovadora: A introdução do IWN, uma correção de estatística de característica especificamente para o gating de características aumentadas, que é ortogonal às correções de perda ou amostragem existentes.
• Receita de Auto-Extração: Um método usando log-odds e agrupamento de embeddings para recuperar 99,5% do desempenho da curadoria manual, permitindo a transferência do vocabulário cirúrgico para novos domínios sem esforço manual.

Resultados Experimentais
O framework foi avaliado em quatro tarefas heterogêneas (sentimento SST-2, recuperação multi-salto HotPotQA, atribuição de prompt de LLM e detecção de autoria humana/LLM) envolvendo 17.830 exemplos e onze variantes de modelos (DistilBERT, BERT, RoBERTa, ALBERT, T5-base) sobre três sementes (seeds).

• Desempenho: A variante SURGELLM-IWN utilizando RoBERTa alcançou um macro-F1 agregado de 0,940. Isso representa um ganho de +0,036 sobre a linha de base (baseline) não-IWN mais forte e um ganho absoluto de +0,130 na tarefa de detecção de autoria (D4), o conjunto de dados mais desafiador e enviesado.
• Estudos de Ablação:
  • A remoção do IWN causou uma regressão de desempenho em D4 (de 0,892 para 0,711), confirmando que o portão sozinho é insuficiente sem a normalização balanceada.
  • Um controle de vocabulário aleatório resultou em uma queda média de F1 de -0,028 em comparação com o vocabulário curado, confirmando que os ganhos derivam do conteúdo lexical, e não meramente do aumento da contagem de parâmetros.
  • O T5-base (220M parâmetros) foi competitivo, mas não dominante, destacando que tarefas estruturalmente heterogêneas beneficiam-se mais da injeção explícita de características do SURGELLM do que de uma arquitetura genérica de texto-para-texto.
• Eficiência: O SURGELLM-IWN-RoBERTa é Pareto-eficiente, alcançando o F1 médio mais alto com um overhead de tempo de treinamento de apenas ~4,0x em comparação com o baseline, enquanto usa significativamente menos parâmetros que o T5-base.

Significância e Alegações
O artigo postula que o SURGELLM demonstra o valor de revisitar o aumento de características em redes de PLN não como um legado da era pré-transformer, mas como um canal lateral principiado que complementa as representações contextuais.

• Lexical vs. Paramétrico: Os resultados confirmam que indicadores lexicais explícitos, quando devidamente portados (gated) e normalizados, fornecem sinais que o ajuste fino sozinho falha em capturar, particularmente em tarefas com sinais de superfície distintos.
• Precondicionamento Estatístico: O sucesso do IWN destaca que os vieses arquiteturais (o portão) devem ser desacoplados do precondicionamento estatístico (desbalanceamento de classe nas estatísticas de características) para funcionar efetivamente.
• Escalabilidade: O framework é projetado para ser leve e escalável, sendo a contagem de parâmetros do portão linear na dimensão oculta e assintoticamente negligenciável em relação ao codificador.

Os autores concluem que, embora o presente trabalho seja limitado ao inglês e a codificadores de escala base, o "portão cirúrgico" representa um canal viável para integrar conhecimento externo, sugerindo a existência de outros.