Resumo Técnico: UG-TTT (Treinamento no Tempo de Teste Guiado por Incerteza)

Declaração do Problema

A descoberta científica automatizada usando Modelos de Linguagem de Grande Escala (LLMs) enfrenta uma limitação estrutural: enquanto o aprendizado por reforço (RL) padrão pode melhorar o desempenho médio, frequentemente falha em descobrir soluções genuinamente novas, fazendo com que a recompensa máxima atingível estagne prematuramente. Este fenômeno, denominado colapso de modo, ocorre porque os objetivos padrão de RL maximizam a recompensa esperada, o que inerentemente penaliza mutações de alta variância. Consequentemente, a política converge para padrões "seguros" e familiares encontrados nos dados de treinamento, em vez de explorar as regiões esparsas e de alta recompensa na fronteira do conhecimento.

Tentativas existentes de mitigar isso, como bônus de entropia ou ponderação baseada em confiança, dependem de uma única rede treinada. Esses métodos falham em distinguir entre incerteza aleatória (ambiguidade de entrada irredutível) e incerteza epistêmica (lacunas no conhecimento aprendido pelo modelo). Para a descoberta científica, essa confluência é fatal; a política desperdiça capacidade computacional em território ambíguo, mas familiar, em vez da genuína fronteira do conhecimento onde ocorrem os avanços. Além disso, os sistemas existentes de treinamento no tempo de teste (TTT) frequentemente sofrem de colapso de diversidade, onde múltiplos adaptadores ou trajetórias convergem para configurações de peso idênticas, anulando qualquer sinal de exploração.

Metodologia: UG-TTT

Os autores propõem UG-TTT (Treinamento no Tempo de Teste Guiado por Incerteza), um framework projetado para manter a diversidade do ensemble e direcionar a exploração para posições de alta incerteza epistêmica. O método estende a linha de base TTT-DISCOVER com três componentes acoplados:

1. Incerteza Epistêmica via Ensembles LoRA

Em vez de um único adaptador, o UG-TTT mantém um ensemble de $K$ adaptadores de baixo rank (LoRA) sobre um modelo base congelado compartilhado. Cada adaptador $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ é tratado como uma amostra independente de uma posterior variacional.

• Sinal: O sistema calcula Informação Mútua (MI) ao nível do token para quantificar a incerteza epistêmica. Isso é definido como a diferença entre a entropia da distribuição de mistura do ensemble e a entropia média dos adaptadores individuais:
  $$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$$
• Interpretação: Alta MI indica que os membros do ensemble discordam sobre o próximo token, sinalizando uma região que o modelo ainda não resolveu (alta incerteza epistêmica). Baixa MI indica concordância, mesmo que os tokens sejam ambíguos (incerteza aleatória).
• Agregação: Para focar no sinal significativo, a MI é média apenas sobre os 7% superiores dos tokens mais incertos em uma execução, filtrando boilerplate sintático onde os adaptadores concordam trivialmente.

2. Vantagem Moldada por Incerteza

O sinal bruto de MI é integrado ao gradiente da política como um bônus de exploração.

• Normalização: A pontuação de MI é padronizada dentro de cada grupo de execução para garantir invariância de escala entre tarefas.
• Acoplamento Dinâmico: O coeficiente de exploração é acoplado a uma temperatura entrópica adaptativa $\beta(s)$, que mede a confiança da política. À medida que a política se afina (indicando potencial colapso de modo), a pressão de exploração aumenta automaticamente. Isso garante que o bônus seja aplicado precisamente quando a política corre o risco de convergir para um conjunto estreito de soluções.
• Função de Perda: A vantagem moldada $A^{shaped}_i$ substitui a vantagem padrão na perda de amostragem por importância truncada, direcionando a política para posições de alta MI.

3. Regularizador de Diversidade de Subespaço (NNM)

Para evitar que os adaptadores do ensemble colapsem em configurações de peso idênticas (o que levaria a MI a zero), os autores introduzem um regularizador de Maximização da Norma Nuclear (NNM).

• Mecanismo: O regularizador maximiza a norma nuclear (soma dos valores singulares) das matrizes de projeção descendente empilhadas ($A^{(k)}$) através do ensemble.
• Garantia Teórica: Os autores provam (Proposição 2) que, sob uma restrição fixa de norma de Frobenius, o máximo global da norma nuclear é alcançado quando os espaços das linhas dos adaptadores são mutuamente ortogonais. Esta condição geométrica garante que cada adaptador atenda a um subespaço de entrada distinto, preservando a não trivialidade da decomposição BALD (Aprendizado Ativo Bayesiano por Discordância).

Contribuições Principais

1. Decomposição da Incerteza: O artigo demonstra que medir a discordância entre hipóteses de peso adaptadas independentemente (via ensembles LoRA) é necessário para isolar a incerteza epistêmica, um sinal ausente em abordagens de rede única.
2. Regularização Novel: A introdução do regularizador de Maximização da Norma Nuclear é identificada como o mecanismo crítico para sustentar a diversidade do ensemble. Sem ele, os adaptadores convergem para soluções idênticas dentro de duas épocas, fazendo com que o sinal de exploração desapareça.
3. Treinamento no Tempo de Teste Eficiente: O UG-TTT alcança esses ganhos com um pequeno ensemble de adaptadores de baixo rank, evitando o custo computacional da replicação completa do modelo, enquanto mantém uma posterior distinta sobre os pesos.

Resultados Experimentais

O método foi avaliado em quatro benchmarks de descoberta científica (AC1, AC2, CP26 e Erdős) usando um modelo Qwen3-8B.

• Recompensa Máxima: O UG-TTT melhorou a recompensa máxima ($R_{max}$) em três das quatro tarefas em comparação com a linha de base TTT-DISCOVER. Na quarta tarefa (Erdős), igualou o teto da linha de base enquanto descobria soluções qualitativamente distintas.
• Preservação da Diversidade: Enquanto a entropia da família de soluções da linha de base colapsou para $\approx 0,65$ bits até a época 5, o UG-TTT sustentou uma entropia de $\approx 1,42$ bits. Isso indica que o modelo continuou a explorar diversas famílias algorítmicas em vez de convergir para uma única estratégia "segura".
• Descoberta de Soluções Novas:
  • AC1: O UG-TTT descobriu o alvo de Cauchy-Schwarz ($\sqrt{2n}$) em 18/30 execuções principais, enquanto a linha de base o encontrou em apenas 1/30.
  • AC2: A linha de base falhou em utilizar scipy.optimize.differential_evolution (0/30 execuções principais), enquanto o UG-TTT o utilizou em 13/30, alcançando uma recompensa maior.
  • Erdős: O UG-TTT descobriu uma estratégia de inicialização baseada em Fourier que a linha de base nunca entrou.
• Eficiência: O UG-TTT atingiu o teto state-of-the-art em CP26 em 384 execuções, significativamente menos do que as 25.600 execuções exigidas pela linha de base.

Significado e Afirmações

O artigo afirma que o colapso de diversidade na descoberta no tempo de teste é uma consequência estrutural da otimização de recompensa escalar em modelo único. Ao introduzir um sinal de informação mútua baseado em ensemble acoplado a um regularizador de norma nuclear, o UG-TTT direciona com sucesso a política para a "fronteira do conhecimento" onde a descoberta genuína é possível.

Os autores enfatizam que o regularizador de norma nuclear é o componente "estrutural" do sistema; estudos de ablação confirmam que removê-lo faz com que o sinal de incerteza colapse e reverte o sistema para o comportamento padrão de RL. O trabalho sugere que manter a ortogonalidade de subespaço entre adaptadores é uma condição necessária para sustentar a exploração em tarefas de descoberta científica com recompensa esparsa.

O artigo permanece modesto quanto à generalização, observando que os resultados são baseados em um modelo específico (Qwen3-8B), uma única configuração de GPU e um número fixo de adaptadores ($K=5$). Reconhece que o mecanismo de parada antecipada em streaming exigiu calibração empírica para tarefas específicas e que a portabilidade para verificadores ruidosos ou aprendidos exigiria recalibração.