Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

Resumo Técnico: Horizonte de Espelho e Entropia de Caminho Viável

Definição do Problema
As métricas de avaliação atuais para grandes modelos de linguagem (LLMs) — como perda (loss), acurácia, pass@k e pontuações de benchmark — colapsam a capacidade interna de um sistema em estatísticas de resultado único. Essas métricas falham em distinguir entre um modelo que resolve um problema uma vez e falha repetidamente, um modelo que resolve menos problemas, mas revela estratégias de solução diversas, e um modelo com alta entropia de saída bruta, mas pouca estrutura verificada. O artigo argumenta que a capacidade não deve ser definida meramente pelo sucesso de tentativa única ou pela contagem de parâmetros, mas pela estrutura de continuações viáveis que um sistema pode sustentar sob reflexão repetida.

Metodologia
O artigo operacionaliza a "Teoria do Espelho" por meio de uma nova medida chamada Entropia de Caminho Viável (VPE - Viable Path Entropy), definida como uma medida de capacidade de continuação verificada com orçamento finito.

1. Escafold Teórico:

   • Espelho como Lei de Continuação: Um espelho é definido não como uma representação estática (ex: um vetor oculto), mas como a estrutura interna que induz uma lei de continuações viáveis.
   • Componentes: A teoria integra intuição (restrições locais provenientes de evidências), gosto (pressão de seleção que preserva invariantes valorizados) e geometria (estrutura aprendida que garante seleção estável).
   • Compatibilidade Construtiva: Uma possibilidade é "construtivamente compatível" se ela aumenta a capacidade de continuação viável de orçamento finito sem romper os invariantes.

2. A Medida (VPE):

   • Dado um orçamento $B$ (rollouts), horizonte $T$ (tokens), um verificador $V$ e um mapa de modos $\psi$, a VPE é definida como:
     $$H_{B,T}(M) = \log \Pr[V=1] + H(\psi \mid V=1)$$
   • Termo 1 (Alcance Verificado): A probabilidade de alcançar uma continuação viável ($\Pr[V=1]$).
   • Termo 2 (Diversidade de Modos Verificados): A entropia dos modos semânticos alcançados entre os rollouts bem-sucedidos.
   • Esta decomposição separa a amplitude (o modelo consegue resolver o problema?) da profundidade/diversidade (quantas formas distintas e verificadas ele consegue resolver o problema?).

3. Instanciação Experimental:

   • Tarefa: Problemas de raciocínio matemático GSM8K.
   • Modelos: Família Qwen2.5-Instruct (0.5B, 1.5B e 3B parâmetros).
   • Protocolo: 30 problemas, 32 rollouts amostrados por problema, temperatura 0.8, top-p 0.95.
   • Variáveis: Dois horizontes de reflexão foram testados: 96 tokens e 160 tokens.
   • Verificador: Um extrator baseado em regex estrito que verifica a correção numérica em relação às respostas de referência (gold answers).
   • Mapa de Modos: Uma função heurística que agrupa soluções verificadas por bins de comprimento, assinatura de operador, contagem de equações e estilo de raciocínio.

Principais Contribuições

1. Teoria do Espaço de Caminho Formal: Uma versão da Teoria do Espelho onde os espelhos são definidos como leis de continuação, em vez de estados estáticos.
2. Entropia de Caminho Viável (VPE): Uma definição de horizonte de espelho que decompõe a capacidade limitada em alcance verificado e diversidade de modos verificados.
3. Conexão Teórica: Vinculação de conceitos abstratos (intuição, gosto, geometria, compatibilidade construtiva) ao objeto mensurável VPE.
4. Validação Empírica: Experimentos demonstrando que o orçamento de reflexão expande a capacidade de continuação verificada e que o horizonte do espelho é distinto da contagem de parâmetros.

Resultos

• Expansão de Orçamento: Aumentar o horizonte de tokens de 96 para 160 melhorou substancialmente todas as métricas para os modelos de 0.5B e 1.5B. A probabilidade verificada subiu, as frações de zero-verificação caíram e a entropia de modo verificado aumentou.
• Desempenho do Modelo em 160 Tokens:
  • O Qwen2.5-1.5B alcançou o horizonte de espelho mais forte entre todos os modelos testados, dominando em probabilidade verificada, pass@32, fração de zero-verificação e entropia de modo verificado.
  • O Qwen2.5-3B não superou o modelo de 1.5B. Embora tenha apresentado uma probabilidade média verificada superior à do modelo de 0.5B, exibiu menor amplitude (menor pass@32) e significativamente menor entropia de modo verificado do que o modelo de 1.5B.
• Curvas de Cobertura: As curvas de cobertura empírica mostraram que o modelo de 1.5B atingiu um número esperado maior de modos verificados distintos em todos os orçamentos de rollout ($b \in \{1, \dots, 32\}$), confirmando que seu "horizonte de espelho" se desenrola de forma mais eficaz com o aumento do orçamento.

Significância e Alegações
O artigo alega fornecer um relato ao nível de medida da capacidade, argumentando que a força de um sistema reside na estrutura das continuações viáveis que ele consegue tornar alcançáveis sob um protocolo de reflexão limitado, e não apenas na contagem bruta de parâmetros ou na precisão de resposta única.

• Horizonte Condicionado ao Protocolo: Os resultados demonstram que o horizonte de espelho não é um escalar intrínseco de um modelo, mas depende do protocolo (orçamento, verificador, mapa de modos). Um modelo maior (3B) pode ter um horizonte de espelho acessível menor do que um modelo menor (1.5B) sob restrições específicas.
• Além do Pass@k: A VPE revela distinções ocultas pelo pass@k. Um modelo pode ter um pass@k alto, mas baixa diversidade de modo (resolvendo problemas de uma única maneira frágil), enquanto a VPE captura a robustez de possuir múltiplos modos de solução verificados.
• Operacionalização da Reflexão: O experimento valida a afirmação teórica de que aumentar o horizonte de reflexão (orçamento de tokens) permite que a estrutura interna do espelho se desenrole, revelando mais continuações viáveis.

O artigo permanece modesto, reconhecendo que o atual mapa de modos é grosseiro e que os experimentos são um piloto. Não pretende estabelecer uma lei de escala universal, mas estabelece que a lei de continuação verificada é um objeto útil e mensurável para estudar a reflexão limitada em sistemas inteligentes.