Resumo Técnico: Autolearn – Aprender por Surpresa, Comprometer-se por Prova

1. Declaração do Problema

Os atuais modelos de linguagem de grande escala (LLMs) carecem da capacidade de aprender a partir de documentos que leem após a implantação. Novas informações entram na janela de contexto como um buffer temporário e são descartadas assim que o contexto termina. Soluções existentes falham em abordar essa lacuna de "aprendizado" de forma eficaz:

• Ajuste Fino (Fine-tuning) força atualizações de pesos indiscriminadas, levando ao esquecimento catastrófico de conhecimentos prévios.
• Geração Aumentada por Recuperação (RAG) evita atualizações de pesos, mas falha em consolidar informações na memória de longo prazo, sofrendo com poluição de contexto e incapacidade de formar inferências entre documentos.
• Edição de Conhecimento e métodos de Aprendizado Contínuo ou não escalam ou exigem supervisão externa.

Uma dificuldade central é distinguir novidade (conhecimento genuinamente novo) de ruído (falsidades plausíveis ou corrupção). Ambos produzem perda por token anormalmente alta (surpresa). Sem verificação externa, abrir o otimizador para conteúdo de alta perda corre o risco de corromper os pesos do modelo. Além disso, o ajuste fino supervisionado (SFT) padrão em texto bruto frequentemente leva à memorização de sequências de tokens em vez de compreensão semântica, pois o modelo codifica ordenações exatas de palavras.

2. Metodologia: O Pipeline Autolearn

Autolearn é um framework de pós-treinamento auto-gateado que permite que modelos aprendam a partir de documentos sem supervisão externa. Opera em três etapas, espelhando uma arquitetura cognitiva de detecção de surpresa, auto-verificação e consolidação de memória.

Etapa 1: Detectar e Fundamentar (Surpresa)

O sistema computa a surpresa ao nível de passagem ($S_i$) agregando a perda por token ($s_t = -\log p_\theta(x_t | x_{<t})$) sobre uma janela deslizante.

• Sinalização: Passagens onde $S_i > \tau$ (um limiar calibrado em conteúdo conhecido) são sinalizadas como "surpreendentes".
• Fundamentação: Para cada passagem sinalizada, o sistema registra uma tupla de fundamentação $G_i = (P_i, S_i, d_i)$, onde $d_i$ é a taxa de queda (diminuição normalizada da surpresa do início ao fim da passagem).
• Resultado: Esta etapa filtra conteúdo que o modelo ainda não conhece bem, mas que ainda não consegue distinguir entre novidade genuína e corrupção.

Etapa 2: Verificar, Classificar e Digestar (Auto-verificação)

Em vez de aceitar ou rejeitar uma passagem, o modelo gera uma cadeia de Perguntas e Respostas (Q&A) para articular seu próprio conhecimento sobre as alegações da passagem.

• Geração: O modelo gera $N$ pares de pergunta-resposta, onde $N$ escala com a surpresa da passagem ($N = \lceil S_i \cdot c \rceil$). As perguntas são marcadas por origem epistêmica:
  • [existente]: Confirma fatos de fundo assumidos pela passagem.
  • [mecanismo]: Sonda passos causais específicos propostos na passagem (ex: "A proteína X se liga ao receptor Y?").
  • [implicação]: Testa se consequências conflitam com fatos conhecidos.
• Verificação de Consistência: Cada par é validado contra o conhecimento existente do modelo.
  • Falhas em perguntas [mecanismo] ou [implicação] causam uma "quebra dura" na cadeia.
  • Falhas em perguntas [existente] são tratadas com leniência.
• Profundidade de Convicção ($k$): A cadeia produz uma pontuação $k$ (número de perguntas passadas). Esta $k$ determina a força de aprendizado. Passagens que quebram cedo recebem aprendizado fraco; aquelas que completam a cadeia inteira recebem compromisso forte.
• Registros de Estranheza: Se uma cadeia quebrar, o raciocínio por trás da falha é convertido em um item de treinamento enquadrado como incerteza ("A passagem alega X, mas estou incerto..."), permitindo que o modelo aprenda a fronteira de seu conhecimento.

Etapa 3: Atualização de Pesos Gateada (Consolidação)

O treinamento ocorre nos pares de Q&A verificados e nos registros de estranheza.

• Ajuste de $\beta_2$ Proporcional à Convicção: O framework ajusta o parâmetro de segundo momento $\beta_2$ do otimizador AdamW com base na profundidade de convicção $k$:
  $$\beta_2^{(k)} = 0.999 \cdot r^k$$
  onde $r \in (0, 1)$ é um fator de decaimento. Maior $k$ (verificação mais forte) reduz ligeiramente $\beta_2$, permitindo que gradientes se acumulem com mais eficiência para itens bem verificados.
• Formato de Treinamento: Crucialmente, o treinamento é realizado em pares de Q&A em vez de texto bruto. Isso força o modelo a codificar associações semânticas (pergunta $\to$ resposta) em vez de sequências de tokens.

3. Contribuições Chave

A Métrica de Lacuna de Perturbação

O artigo introduz a lacuna de perturbação (razão de perplexidade de paráfrase para original) como uma métrica para distinguir memorização de compreensão.

• Memorização: Se um modelo memoriza sequências de tokens, ele prevê o texto original bem, mas falha em paráfrases, resultando em uma lacuna alta ($\gg$ linha de base pré-treinada).
• Compreensão: Se um modelo aprende associações semânticas, ele prevê tanto o texto original quanto o paráfraseado de forma similar, resultando em uma lacuna próxima à linha de base pré-treinada.
• Significância: Uma lacuna abaixo da linha de base pré-treinada indica "aprendizado semântico puro", onde a compreensão melhora sem memorização de sequências de tokens.

Propriedade de Auto-extinção

O sistema é auto-limitante. À medida que o modelo aprende uma passagem, sua surpresa ($S_i$) diminui. Uma vez que $S_i$ cai abaixo do limiar $\tau$, a passagem não é mais sinalizada em encontros futuros. O sistema converge naturalmente para o comportamento padrão do AdamW à medida que esgota o conteúdo "surpreendente" em um documento.

Aprendizado Seletivo via Gateamento no Espaço de Dados

Diferentemente de métodos anteriores de aprendizado contínuo que gateiam no espaço de parâmetros (ex: EWC), Autolearn gateia no espaço de dados. Controla quais itens são aprendidos e quão fortemente via ajustes de $\beta_2$ por item, um mecanismo não proposto anteriormente para consolidação seletiva.

4. Resultados Experimentais

Os experimentos foram conduzidos no Qwen3-14B (e replicados em Qwen3-8B/32B e Phi-4-14B) usando um corpus de 60 passagens (20 conhecidas, 20 novas, 20 corrompidas).

Memorização vs. Compreensão

• Autolearn é o único método que entra no regime "sub-linha de base".
  • Lacuna pré-treinada: 2.204.
  • Autolearn (melhor): 2.098 ($\Delta = -0.106$, $>10\sigma$).
  • SFT padrão (melhor): 2.194 ($\Delta = -0.010$, $<1\sigma$, dentro do ruído).
• Isso confirma que o formato de treinamento Q&A suprime a memorização de sequências de tokens, permitindo aprendizado semântico puro.

Aquisição de Conhecimento

• Avaliação Estocástica: Usando amostragem com temperatura 0.7, a probabilidade de gerar fatos novos corretos aumentou significativamente após o treinamento (ex: de 6% para 54% para um fato sobre substrato de grafeno, $p < 10^{-4}$).
• Novidade vs. Corrupção: Autolearn igualou ou superou o SFT na resistência a conteúdo corrompido (ex: 50.5% de precisão em perguntas diretas corrompidas vs. 47.4% para SFT em $lr=5\times10^{-5}$).
• Dominância de Formato: Estudos de ablação mostraram que o formato Q&A é o principal motor da supressão de memorização. Ajustar $\beta_2$ (comparando $r=1.0$ vs $r=0.999$) produziu lacunas de perturbação quase idênticas, sugerindo que o formato, e não o gateamento, é o fator dominante na escala atual.

Generalização Cruzada entre Modelos

O padrão se mantém em quatro modelos (Qwen3-8B, 14B, 32B; Phi-4-14B). Autolearn consistentemente alcança uma lacuna de perturbação menor que o SFT e é o único método a entrar na região sub-linha de base.

5. Significância e Alegações

O artigo alega que Autolearn demonstra um caminho viável para aquisição autônoma de conhecimento em LLMs sem supervisão externa. Sua significância primária reside em:

1. Resolver o Problema Novidade/Ruído: Ao usar cadeias de Q&A auto-geradas para verificação, o modelo pode distinguir entre falsidades plausíveis e novidade genuína com base na consistência interna, mesmo sem oráculos externos.
2. Prevenir Memorização: Prova que o formato dos dados de treinamento (Q&A vs. texto bruto) é o fator crítico em determinar se o aprendizado resulta em compreensão semântica ou memorização mecânica.
3. Auto-regulação: O sistema é "auto-extinguente", parando automaticamente o processo de aprendizado para uma passagem uma vez que ela é compreendida, prevenindo overfitting e loops infinitos.

Os autores notam limitações, incluindo a dependência do conhecimento existente do modelo para verificação (que pode validar erros consistentes) e a necessidade atual de o modelo ser grande o suficiente (ex: >3B parâmetros) para discriminar efetivamente novidade de corrupção. O framework é apresentado como um análogo computacional à consolidação de memória biológica (interação hipocampo-neocórtex), oferecendo um mecanismo para LLMs "estudarem" o que leem.