Resumo Técnico: GeoMin - RLVR Semi-Supervisionado com Eficiência de Dados via Modelagem de Distribuição Geométrica

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma fundamental para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). No entanto, a escalabilidade do RLVR é severamente limitada pelo "gargalo de anotação": abordagens supervisionadas padrão exigem anotações de verdade fundamental (ground-truth) dispendiosas, enquanto alternativas não supervisionadas frequentemente sofrem de "colapso de modelo" devido à dependência de sinais de auto-recompensa ruidosos (ex: votação majoritária, entropia) que reforçam a falsa confiança sem fundamentação factual.

Abordagens semi-supervisionadas recentes, como o TraPO, tentam preencher essa lacuna usando um pequeno conjunto rotulado para guiar a seleção de dados não rotulados de alta qualidade. Contudo, esses métodos enfrentam um gargalo crítico de eficiência de dados. Eles dependem de heurísticas de desempenho grosseiras (ex: alinhar taxas de aprovação de trajetórias individuais com médias coletivas), que falham em considerar as flutuações naturais na otimização de instâncias individuais. Consequentemente, esses métodos exibem um severo "gargalo de recall", utilizando apenas uma fração ínfima (ex: ~12,3%) dos dados não rotulados confiáveis disponíveis, deixando a maioria das instâncias valiosas subutilizada.

2. Metodologia: GeoMin

Os autores propõem o GeoMin, um framework de dois estágios que aproveita as propriedades geométricas das representações latentes para minerar eficientemente dados não rotulados de alta qualidade. A ideia central é que as execções (rollouts) de raciocínio corretas e incorretas exibem uma ressonância geométrica distinta em suas distribuições direcionais, que pode ser modelada para avaliar a confiabilidade dos sinais de auto-recompensa.

Conceito Central: Priores Geométricos

O método modela os estados ocultos dos LLMs (especificamente os embeddings do último token normalizados) como dados direcionais em uma hiperesfera. Ele postula que as execuções corretas e incorretas formam clusters distintos que podem ser modelados usando distribuições von Mises-Fisher (vMF).

• Ressonância Geométrica: À medida que o treinamento progride, as distribuições direcionais das execuções corretas e incorretas se separam naturalmente. Execuções corretas não rotuladas alinham-se com a distribuição "correta" rotulada, enquanto as incorretas alinham-se com a distribuição "incorreta".

Estágio 1: Ancoragem Supervisionada

Para estabelecer um prior geométrico robusto, o GeoMin primeiro realiza o treinamento supervisionado exclusivamente em um pequeno conjunto rotulado ($D_l$).

• Modelagem de Distribuição: Ele ajusta distribuições vMF online ($\mu_c, \kappa_c$) para classes corretas ($c=1$) e incorretas ($c=0$) através das camadas da rede.
• Desambiguação de Fronteira: O método identifica "amostras de fronteira ambíguas" onde o alinhamento geométrico das execuções contradiz sua correção (ex: uma execução correta está geometricamente mais próxima da distribuição incorreta).
• Reponderação de Vantagem: Para acelerar a emergência da separação geométrica, as vantagens dessas amostras de fronteira são amplificadas durante a atualização de Otimização de Política Relativa de Grupo (GRPO). Isso refina a fronteira de decisão no espaço de representação.

Estágio 2: Mineração de Amostras Guiada pela Geometria

No segundo estágio, o framework incorpora dados não rotulados ($D_u$) para treinamento semi-supervisionado.

• Adaptação Dinâmica: As distribuições vMF são continuamente atualizadas usando o subconjunto rotulado para rastrear o espaço de representação em evolução.
• Seleção de Camada Discriminativa: O método quantifica a separabilidade por camada ($\Delta^{(l)}$) e seleciona as $K$ camadas superiores com a maior fidelidade diagnóstica para avaliação de confiabilidade.
• Pontuação de Confiança: Para cada instância não rotulada, uma pontuação de confiança ($s_i$) é computada agregando as afinidades direcionais de suas execuções contra as distribuições vMF corretas e incorretas aprendidas.
• Filtragem Adaptativa: Em vez de usar um limiar estático, o GeoMin ajusta um Modelo de Mistura Gaussiana (GMM) à distribuição das pontuações de confiança. Ele seleciona adaptativamente amostras de alta confiança (aquelas pertencentes ao componente Gaussiano de média alta) para formar um conjunto de pseudo-rótulos confiável ($B^*_u$).
• Treinamento: A política final é otimizada no conjunto da união do conjunto rotulado original e o conjunto de dados não rotulados filtrados e confiáveis.

3. Principais Contribuições

1. Descoberta de Ressonância Geométrica: O artigo identifica e formaliza o fenômeno da "ressonância geométrica", onde a discrepância estrutural entre execuções corretas e incorretas pode ser decodificada via distribuições de características globais, fornecendo um prior robusto para avaliar a confiabilidade do pseudo-rótulo.
2. Framework de Dois Estágios Inovador: O GeoMin introduz uma abordagem coordenada combinando ancoragem supervisionada (para estabelecer fronteiras discriminativas) e mineração guiada pela geometria (para selecionar adaptativamente dados não rotulados), superando as limitações de recall de métodos semi-supervisionados anteriores.
3. Eficiência de Dados: Ao modelar distribuições em vez de depender de heurísticas de desempenho macro, o GeoMin atinge um F1 score de 89,0% na identificação de amostras não rotuladas confiáveis, superando significativamente o F1 score de 21,4% do baseline TraPO.

4. Resultados Experimentais

Experimentos foram conduzidos no dataset Deepmath-103k usando Qwen3-8B-Base e outros modelos (1.5B, 8B).

• Ganhos de Desempenho: O GeoMin supera o baseline semi-supervisionado mais forte (TraPO) em +4,1% em acurácia de Domínio Interno (ID) e +1,7% em média de Domínio Fora (OOD).
• Eficiência de Anotação: Notavelmente, o GeoMin treinado com apenas 10% das anotações supera o baseline totalmente supervisionado (treinado com 100% dos dados) em +1,2% no desempenho ID, mantendo um desempenho competitivo em OOD.
• Escalabilidade: O método demonstra melhorias consistentes em diferentes escalas de modelos (1.5B a 8B) e arquiteturas (Qwen vs. Llama).
• Eficiência: O GeoMin alcança uma aceleração de 2,14× no tempo total de treinamento em comparação ao TraPO, pois evita as fases de aquecimento (warm-up) de múltiplos épocas exigidas por baselines de correspondência de trajetória.

5. Significância e Alegações

O artigo afirma que o GeoMin representa um passo significativo em direção ao RLVR escalável e com eficiência de dados. Ao mudar o foco das probabilidades de saída de superfície para o alinhamento geométrico das representações latentes, o método desbloqueia o potencial de vastos conjuntos de dados não rotulados sem comprometer a estabilidade do treinamento.

Os autores sustentam que o GeoMin contorna efetivamente a barreira de anotação, permitindo que os modelos alcancem generalização superior com o mínimo de supervisão humana. O trabalho sugere que o "gargalo de recall" no RLVR semi-supervisionado não é inerente ao paradigma, mas decorre da dependência de heurísticas grosseiras, que podem ser resolvidas através de uma rigorosa modelagem de distribuição geométrica.

Limitações Reconhecidas:

• A validação foi realizada principalmente em modelos de até 8 bilhões de parâmetros; o desempenho em modelos de fronteira maiores ainda precisa ser verificado.
• A eficiência do método depende da discriminabilidade geométrica inicial do modelo; modelos com baixa qualidade de representação inicial podem exigir um treinamento de Estágio 1 estendido.
• A avaliação atual é limitada a raciocínio textual e simbólico; a generalização para tarefas multimodais ou cross-linguais requer investigação adicional.