LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

Título: LLMs Codificam Seus Fracassos: Prevendo Sucesso a partir de Ativações Pré-Geração

1. O Problema

A execução de Grandes Modelos de Linguagem (LLMs) com raciocínio estendido (extended reasoning) em todos os problemas é computacionalmente cara. No entanto, determinar quais entradas realmente exigem mais poder de computação (ou modelos mais capazes) permanece um desafio.

• Dilema: Estimar a taxa de sucesso de um modelo para uma consulta específica geralmente requer múltiplas execuções (rollouts) caras para obter estimativas de baixa variância.
• Questão Central: É possível prever se um modelo terá sucesso em uma tarefa antes mesmo de gerar qualquer saída, analisando apenas suas representações internas?
• Desafio Adicional: A "dificuldade" percebida pelo modelo pode diferir da dificuldade humana, e é incerto se os sinais internos são confiáveis o suficiente para decisões práticas de roteamento (routing).

2. Metodologia

Os autores investigam se as ativações pré-geração (antes do início da geração de tokens) contêm sinais lineares decodificáveis sobre a probabilidade de sucesso do modelo.

• Abordagem Principal: Treinamento de sondas lineares (linear probes) nas ativações do fluxo residual (antes da normalização de camada) em posições específicas (após o template de instrução, antes da geração).
• Objetivos de Previsão:
  1. Dificuldade Humana (IRT): Prever a dificuldade baseada em Teoria de Resposta ao Item (IRT) de humanos.
  2. Dificuldade do Modelo (Taxa de Sucesso Esperada): Prever a probabilidade de sucesso sob decodificação estocástica (média de $K$ rollouts).
  3. Sucesso Binário: Prever se uma política de decodificação específica (ex: Greedy ou Maioria Votada - Maj@K) resultará em sucesso.
• Benchmarks Utilizados:
  • Matemática: MATH, GSM8K, AIME, E2H-AMC (conjunto crucial que possui rótulos de dificuldade humana e desempenho de modelo nas mesmas questões).
  • Codificação: LiveCodeBench.
• Políticas de Inferência: Comparação entre decodificação greedy (T=0), amostragem com votação majoritária (Maj@K) e modelos com raciocínio estendido (Chain-of-Thought variando de baixo a alto).
• Estratégias de Roteamento:
  • Roteamento em Cascata: Encaminhar consultas para um modelo mais forte apenas se a sonda prever baixa probabilidade de sucesso no modelo base.
  • Roteamento Baseado em Utilidade: Selecionar o modelo de um conjunto heterogêneo que maximize a utilidade (probabilidade de sucesso menos custo), ajustando um parâmetro de trade-off ($\lambda$).

3. Principais Contribuições

1. Dificuldade Humana vs. Dificuldade do Modelo são Sinais Distintos:

   • Usando o E2H-AMC, os autores demonstram que as sondas podem extrair ambos os sinais das mesmas ativações.
   • A dificuldade humana é altamente decodificável ($\rho$ de Spearman entre 0.83–0.87), enquanto a dificuldade do modelo é menos acessível linearmente (0.40–0.64).
   • Descoberta Crítica: À medida que os modelos resolvem problemas mais difíceis através de raciocínio estendido, suas representações internas de dificuldade divergem cada vez mais das julgamentos humanos. O modelo codifica uma noção de dificuldade específica dele, que se torna menos linearmente acessível conforme o raciocínio se estende.

2. Previsão Confiável de Desempenho:

   • As sondas conseguem prever o sucesso binário (sucesso/fracasso) com alta discriminação (AUROC > 0.7 para vários modelos) sob políticas fixas.
   • No entanto, a confiabilidade da sonda degrada com o aumento do custo computacional no tempo de teste (extended reasoning). Por exemplo, no GPT-OSS-20B, o AUROC cai de 0.78 (raciocínio baixo) para 0.64 (raciocínio alto), mesmo que a precisão da tarefa aumente.

3. Roteamento Guiado por Sondas com Economia de Custo:

   • O uso de sondas para rotear consultas entre modelos permite alcançar o desempenho do modelo mais capaz com uma redução de custo de 17% a 70% (no benchmark MATH).
   • Em alguns cenários, o roteador supera a linha de base do melhor modelo único, aproximando-se da precisão de um oráculo (que conhece a verdade absoluta).

4. Resultados Chave

• Decododabilidade Linear: As sondas lineares superam significativamente características de superfície (como comprimento da pergunta e TF-IDF) na previsão de sucesso.
• Divergência com Raciocínio Estendido:
  • Conforme o orçamento de raciocínio aumenta, o comprimento da cadeia de pensamento (Chain-of-Thought) torna-se mais correlacionado com a dificuldade humana e menos correlacionado com a incerteza do modelo.
  • Isso significa que, em modelos avançados, o modelo gasta mais tokens em problemas difíceis para humanos, mesmo quando tem alta probabilidade de acertar. Isso "oculta" o sinal de dificuldade do modelo nas ativações pré-geração.
• Domínio de Código: A qualidade das sondas é alta no domínio de codificação (AUROC 0.81–0.91), sugerindo que a acessibilidade do sinal é uma propriedade da família do modelo e não apenas da tarefa.
• Eficiência do Roteamento:
  • No benchmark MATH, o roteamento baseado em utilidade atingiu a mesma precisão do modelo GPT-OSS-20B (alta capacidade) com 70% menos custo.
  • No GSM8K (onde os modelos já têm alta precisão), o roteador identificou corretamente que modelos mais baratos e eficientes eram suficientes, evitando o uso de modelos caros de raciocínio estendido desnecessariamente.

5. Significado e Implicações

• Eficiência Prática: O trabalho demonstra que é possível obter ganhos de eficiência significativos em sistemas de inferência sem necessidade de geração adicional para estimar confiança, utilizando apenas as ativações internas.
• Reavaliação da Dificuldade: O estudo revela que a "dificuldade" não é um conceito universal. Para sistemas de IA, a dificuldade é relativa ao modelo e à política de decodificação. Rótulos de dificuldade humana podem se tornar enganosos para a seleção de dados ou avaliação de modelos com raciocínio avançado.
• Limitação e Futuro: A principal limitação identificada é que a confiabilidade das sondas degrada com o raciocínio estendido. O gargalo para roteamento ainda mais eficiente não é a sofisticação do algoritmo de roteamento, mas sim a melhoria na confiabilidade das estimativas de dificuldade extraídas das ativações. Trabalhos futuros devem explorar sondas não-lineares ou posições de sondagem intermediárias para recuperar esses sinais.

Em resumo, o artigo prova que os LLMs "sabem" se vão falhar antes de gerar a resposta, mas essa autoconsciência se torna mais difícil de acessar à medida que o modelo se esforça mais para resolver o problema, criando um novo paradigma para o roteamento eficiente de modelos.