Resumo Técnico: Aprendizado Contínuo para Personalização Sequencial de Pequenos Modelos de Linguagem

Definição do Problema

Pequenos Modelos de Linguagem (SLMs) estão sendo cada vez mais implantados em dispositivos de borda para permitir aplicações privadas, de baixa latência e personalizadas localmente. No entanto, a personalização exige que os modelos se adaptem continuamente a dados evolutivos do usuário ou específicos de tarefas, criando um cenário de aprendizado contínuo (CL). Este cenário introduz o risco de esquecimento catastrófico, onde o aprendizado de novas informações degrada o desempenho em tarefas previamente aprendidas ou nas capacidades gerais do modelo.

Embora benchmarks recentes como o TRACE tenham demonstrado que o ajuste fino contínuo pode degradar as habilidades gerais de LLMs alinhados, a maior parte da pesquisa existente não foca em cenários de borda. Nesses ambientes restritos, o tamanho do modelo e as limitações de memória tornam a estabilidade do processo de adaptação uma preocupação crítica. O problema central abordado é como monitorar e compreender a estabilidade dos SLMs durante a personalização sequencial, especificamente para detectar quando a adaptação leva a um desvio prejudicial ou colapso de desempenho que métricas padrão de nível de tarefa podem ocultar.

Metodologia

Configuração Experimental

Os autores definem um cenário de personalização sequencial onde um SLM base é adaptado através de uma sequência de tarefas $T = (T_1, T_2, \dots, T_K)$ usando Adaptação de Baixo Posto (LoRA).

• Modelos: Três SLMs de última geração com $\le$ 1 bilhão de parâmetros foram selecionados: Qwen 3.5 0.8B, Llama 3.2 1B Instruct e Gemma 3 1B IT.
• Datasets: Três tarefas do benchmark TRACE foram utilizadas: FOMC (classificação de sentimento financeiro), ScienceQA (Q&A científica) e NumGLUE-CM (raciocínio matemático).
• Protocolo: Os modelos foram treinados sequencialmente por uma época por tarefa usando um único adaptador LoRA cumulativo. Não foram empreçadas técnicas de replay. Após cada estágio de adaptação $k$, um checkpoint $\theta_k$ foi salvo.

Protocolo de Avaliação

Em vez de avaliar apenas o modelo final, os autores implementaram um protocolo de monitoramento por checkpoint:

1. Matriz de Checkpoint por Tarefa: Cada checkpoint $\theta_k$ é avaliado em todas as tarefas (atual, anteriores e futuras) para rastrear aquisição, retenção e transferência.
2. Conjunto de Referência Fixo: Um conjunto fixo $R$ de exemplos, nunca utilizado para treinamento, é avaliado em cada checkpoint para monitorar o comportamento geral do modelo e o desvio (drift).
3. Métricas:
   • Métricas de Aprendizado Contínuo: Acurácia Média (ACC), Transferência Retroativa (BWT), Transferência Progressiva (FWT), Acurácia de Aprendizado (LA) e ganho de adaptação imediata ($\Delta_{adapt}$).
   • Diagnósticos de Estabilidade:
     • Divergência KL: Medindo o desvio de distribuição da predição do próximo token no conjunto de referência em relação ao modelo base ($\theta_0$).
     • Entropia: Avaliando a incerteza do modelo.
     • Margem: Medindo a lacuna de confiança entre os dois tokens preditos mais prováveis.

Principais Contribuições

1. Operacionalização do Monitoramento de Estabilidade: O artigo enquadra a personalização sequencial de SLMs como um problema de estabilidade em nível de checkpoint, rastreando como cada estágio de adaptação afeta a aquisição, retenção, transferência e o comportamento do conjunto de referência, em vez de focar apenas no desempenho final da tarefa.
2. Protocolo de Monitoramento Leve: Um protocolo é introduzido que combina uma matriz de avaliação de checkpoint por tarefa com métricas padrão de CL e diagnósticos de conjunto de referência (divergência KL, entropia, margem) para detectar instabilidade.
3. Análise Empírica de Assinaturas de Estabilidade: Através de experimentos em três famílias de SLMs, os autores identificam uma assinatura de estabilidade interna invariante à ordem. Eles demonstram que a Divergência KL serve como um sinal de alerta precoce para a saúde do modelo, revelando padrões de instabilidade (como esquecimento catastrófico ou degradação de capacidade) que a acurácia por tarefa sozinha pode ocultar.

Resultados

Aquisição e Retenção de Tarefas

• Qwen demonstrou a maior estabilidade, mantendo uma Transferência Retroativa (BWT) positiva e a maior acurácia média final (0.591) mesmo após adaptar-se à desafiadora tarefa NumGLUE-CM.
• Gemma exibiu severa instabilidade. Apesar dos ganhos iniciais no FOMC, seu desempenho degradou significativamente após adaptar-se ao NumGLUE-CM, resultando em pontuações finais negativas em comparação ao modelo base.
• Llama mostrou estabilidade intermediária, com um BWT menos negativo que o da Gemma, mas um desempenho geral inferior ao do Qwen.
• Impacto da Tarefa: A tarefa NumGLUE-CM foi identificada como a mais prejudicial, causando ganhos de adaptação imediata ($\Delta_{adapt}$) negativos em todas as arquiteturas.

Diagnósticos de Monitoramento de Estabilidade

• Correlação da Divergência KL: Existe uma correlação negativa significativa ($r = -0.497, p < 0.001$) entre a Divergência KL (desvio do modelo base) e a acurácia média. À medida que a divergência KL aumentava, o desempenho caía.
• Sinais de Alerta Precoce: A Gemma mostrou um aumento abrupto na divergência KL (atingindo 1.623) e um colapso na margem ( $\Delta$ Margem negativo), o que precedeu ou coincidiu com a degradação do desempenho. Em contraste, Qwen e Llama mantiveram valores de divergência KL mais baixos.
• Zona de Falha: Os autores observaram que, quando a divergência KL atinge aproximadamente 0.8, os modelos tendem a entrar em uma "Zona de Falha", independentemente da ordem das tarefas.

Robustez e Invariância de Ordem

• O estudo testou ordens de tarefas tanto na sequência original ($T_1, T_2, T_3$) quanto na reversa ($T_3, T_2, T_1$).
• As trajetórias de estabilidade interna (divergência KL ao longo do tempo) permaneceram quase idênticas para cada família de modelos, independentemente da ordem das tarefas. Isso sugere que os modelos possuem uma impressão digital de estabilidade intrínseca relacionada à sua arquitetura, tornando o protocolo de monitoramento proposto robusto à sequência de tarefas do usuário.

Significância e Alegações

O artigo posiciona o monitoramento de conjunto de referência como uma ferramenta diagnóstica prática para a personalização de longo prazo de SLMs em dispositivos de borda. Os autores declaram explicitamente que este trabalho não pretende ser um benchmark abrangente ou um novo algoritmo de aprendizado contínuo.

Em vez disso, a significância reside em demonstrar que os sinais de estabilidade em nível de checkpoint (especificamente diagnósticos de distribuição leves, como a divergência KL) podem expor modos de falha que são invisíveis ao avaliar apenas a acurácia final. As descobertas sugerem que monitorar o desvio interno pode fornecer um alerta precoce para a saúde do modelo, permitindo potenciais intervenções (como a interrupção antecipada/early stopping) em ambientes de borda imprevisíveis, onde a ordem das tarefas futuras é desconhecida. O estudo destaca que a estabilidade não é uniforme entre as arquiteturas, com alguns modelos (como o Qwen) sendo inerentemente mais robustos à adaptação sequencial do que outros (como o Gemma).