Resumo Técnico: NoisyCoconut: Consenso Contrafactual via Raciocínio no Espaço Latente

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais implantados em ambientes de alto risco, mas carecem de mecanismos inerentes para sinalizar incerteza, frequentemente produzindo saídas confiantes, porém errôneas (alucinações). Embora a predição seletiva — permitindo que os modelos se abstenham de responder quando incertos — seja uma estratégia bem estabelecida para melhorar a confiabilidade em tarefas de classificação, é difícil aplicá-la a LLMs generativos. As probabilidades ao nível de token frequentemente refletem incerteza linguística em vez de correção factual, e os métodos existentes em tempo de inferência (por exemplo, autoconsistência via amostragem de tokens) limitam-se à diversidade presente na distribuição superficial de tokens. Além disso, métodos de raciocínio no espaço latente que operam diretamente em estados ocultos contínuos geralmente exigem treinamento especializado e carecem de mecanismos integrados de estimativa de confiança.

Metodologia

O artigo apresenta o NoisyCoconut, um método livre de treinamento e em tempo de inferência que aumenta a confiabilidade dos LLMs manipulando representações internas no espaço latente contínuo. Baseando-se na estrutura Cadeia de Pensamento Contínua (Coconut) (Hao et al., 2025), que permite o raciocínio ao alimentar o último estado oculto de volta como a próxima incorporação de entrada, o NoisyCoconut diverge ao focar na avaliação de confiança em vez de treinar modelos para raciocinar no espaço latente.

O mecanismo central envolve a injeção controlada de ruído nas trajetórias latentes de um modelo pré-treinado:

1. Injeção de Ruído: Para uma consulta de entrada dada, o método gera múltiplos caminhos de raciocínio ($K$) injetando ruído Gaussiano independente ($\eta_t$) nos estados ocultos durante a passagem direta. A escala do ruído $\sigma_t$ decai exponencialmente ao longo dos passos de tempo e é escalada adaptativamente com base na norma do estado oculto para garantir divergência significativa enquanto mantém a coerência.
2. Exploração de Caminhos: Essa perturbação induz ramificações em trajetórias de raciocínio alternativas dentro do espaço representacional contínuo, explorando efetivamente diferentes regiões do espaço de soluções sem gerar tokens intermediários.
3. Agregação e Abstenção: As saídas dos $K$ caminhos são agregadas. O sistema emprega uma estratégia de votação majoritária para determinar uma saída de consenso. Crucialmente, o sistema pode abster-se (denotado como $\perp$) se o acordo entre os caminhos cair abaixo de um limiar específico (por exemplo, exigindo acordo unânime de 5/5).
4. Sinal de Confiança: O grau de acordo entre os caminhos perturbados por ruído serve como um proxy para a confiança da predição. Alto acordo indica que o modelo está em uma "bacia atratora" estável, onde a solução é robusta à perturbação, enquanto baixo acordo sugere instabilidade representacional e alta incerteza.

Contribuições Principais

Os autores fazem quatro contribuições primárias:

1. Estrutura NoisyCoconut: Um método inovador, livre de treinamento e em tempo de inferência que gera caminhos de raciocínio diversos através da injeção controlada de ruído no espaço latente contínuo, permitindo estimativa de confiança baseada em acordo diretamente sobre estados ocultos.
2. Validação do Acordo de Caminhos: Demonstração empírica de que o acordo de caminhos fornece um proxy confiável para a confiança da predição, permitindo trocas eficazes entre cobertura e precisão.
3. Caracterização da Relação Ruído-Precisão: Análise mostrando um padrão consistente de degradação sigmoidal na precisão do modelo à medida que as escalas de ruído aumentam, confirmando que a injeção de ruído produz efeitos previsíveis e exploráveis em diferentes arquiteturas.
4. Desempenho em Benchmarks: Evidência de que o NoisyCoconut alcança trocas significativas entre cobertura e precisão em três benchmarks de raciocínio (GSM8K, GSM-Symbolic, MMLU) e cinco modelos de linguagem distintos (incluindo variantes de Qwen, Llama, Mixtral e DeepSeek) sem exigir acesso a dados de treinamento ou modificação de parâmetros.

Resultados

Experimentos conduzidos em cinco modelos de linguagem e três benchmarks produzem as seguintes constatações:

• Redução de Erros: O acordo unânime (5/5) entre caminhos perturbados por ruído reduz as taxas de erro de uma linha de base de 40–70% para abaixo de 15%.
• Alta Precisão via Abstenção: Ao se abster seletivamente em predições de baixa confiança (onde o acordo de caminhos é baixo), os modelos alcançam mais de 95% de precisão em tarefas de raciocínio matemático (por exemplo, GSM8K). Por exemplo, o modelo DeepSeek-R1-Distill-Qwen-7B melhorou de uma linha de base de 62,0% para 95,2% no limiar de acordo unânime, embora com cobertura reduzida (31,4%).
• Efeito Equalizador: Modelos de linha de base mais fracos exibem as maiores melhorias absolutas de precisão sob filtragem de alto acordo, sugerindo que o NoisyCoconut pode ajudar modelos mais fracos a aproximar-se da confiabilidade de contrapartes mais fortes no subconjunto de perguntas onde exibem alta confiança.
• Sensibilidade ao Ruído: Uma avaliação sistemática revelou um decaimento sigmoidal consistente na precisão à medida que as escalas de ruído aumentaram, com ajustes de $R^2 \ge 0,94$ em todos os modelos, indicando uma transição de fase no comportamento do modelo, de raciocínio robusto para desempenho quase aleatório.

Significado e Alegações

O artigo alega que o NoisyCoconut fornece um caminho prático para melhorar a confiabilidade dos LLMs sem o custo computacional de retreinamento ou ajuste fino. Ao estender a estimativa de confiança baseada em acordo para o espaço latente, o método aproveita o espaço representacional contínuo para revelar incerteza que não é visível nas distribuições ao nível de token.

Os autores postulam que a correlação entre o acordo de caminhos e a correção sugere que a incerteza nos LLMs é visível no espaço latente. Quando perturbações de ruído levam a caminhos divergentes, é provável que o modelo esteja operando em uma região de instabilidade representacional; inversamente, a convergência para a mesma resposta indica uma solução estável e robusta à perturbação. Essa abordagem permite a implantação de LLMs em setores regulamentados onde precisão e auditabilidade são críticas, oferecendo um mecanismo para trocar cobertura por alta precisão de confiança.

O artigo reconhece limitações, incluindo a exigência de acesso a estados internos do modelo (limitando a aplicabilidade a modelos de pesos abertos), o foco atual em tarefas com respostas discretas ou bem definidas e a sobrecarga computacional de gerar múltiplos caminhos. No entanto, enquadra essas questões como oportunidades para trabalhos futuros em escalonamento adaptativo de ruído, agregação semântica para geração aberta e integração com decodificação especulativa para reduzir custos.