Statistical Properties of the King Wen Sequence: An Anti-Habituation Structure That Does Not Improve Neural Network Training

Visão Geral

O artigo investiga a hipótese de que a sequência de King Wen do I-Ching (c. 1000 a.C.), uma ordenação histórica de 64 hexagramas binários, possui propriedades estatísticas de "anti-habituação" (alta variância e surpresa) que poderiam beneficiar o treinamento de redes neurais, similar a princípios de Curriculum Learning (aprendizado curricular) e exploração orientada pela curiosidade. O estudo conclui que, embora a sequência tenha estrutura matemática genuína e estatisticamente significativa, sua aplicação prática em redes neurais degrada o desempenho, em vez de melhorá-lo.

---

1. O Problema

A sequência de King Wen ordena os 64 hexagramas do I-Ching de uma forma que desafia explicações algébricas ou numéricas óbvias, diferentemente da ordenação binária sistemática de Shao Yong.

• Hipótese: As propriedades estatísticas da sequência (como alta distância de transição e autocorrelação negativa) poderiam criar um perfil de "surpresa" ideal para otimização, evitando que o modelo entre em habituação (estagnação) durante o treinamento.
• Questão Central: A estrutura combinatória distintiva da sequência se traduz em vantagens mensuráveis para a dinâmica de otimização baseada em gradiente em redes neurais modernas?

---

2. Metodologia

A. Caracterização Estatística (Análise Combinatória)

Os autores realizaram uma análise de permutação de Monte Carlo contra 100.000 baselines aleatórios para caracterizar a sequência de King Wen:

• Métricas: Distância de Hamming entre hexagramas consecutivos, autocorrelação de lag-1, equilíbrio de linhas yang em grupos de quatro e assimetria entre distâncias intra-par e inter-par.
• Objetivo: Isolar propriedades estatísticas que diferenciam a sequência de um ordenamento aleatório ou sistemático.

B. Avaliação Experimental (Treinamento de Redes Neurais)

Foram realizados três experimentos utilizando o framework autoresearch de Karpathy, treinando um modelo GPT pequeno (11,5M parâmetros) por um tempo fixo de 5 minutos.

• Plataformas:
  1. NVIDIA RTX 2060 (PyTorch com torch.compile).
  2. Apple Silicon (MLX).
• Métrica Principal: Bits por byte de validação (val_bpb), onde valores menores indicam melhor desempenho.
• Experimentos:
  1. Modulação da Taxa de Aprendizado (LR): O perfil de "surpresa" da sequência foi usado para modular a taxa de aprendizado (amplitudes de 0.15, 0.3 e 0.5).
  2. Ordenação Curricular: Os batches de dados foram reordenados conforme o ranking de dificuldade mapeado para a posição na sequência de King Wen.
  3. Análise de Sensibilidade a Sementes: 30 execuções com sementes aleatórias diferentes para estabelecer a variância natural do treinamento.

---

3. Principais Contribuições

1. Caracterização Estatística Rigorosa: Confirmação de quatro propriedades estatisticamente significativas na sequência de King Wen que a distinguem do acaso:
   • Distância de transição mais alta que o aleatório (98,2º percentil).
   • Autocorrelação negativa em lag-1 (p=0.037).
   • Grupos de quatro com equilíbrio perfeito de yang (p=0.002).
   • Assimetria entre distâncias dentro de pares e entre pares (99,2º percentil).
2. Evidência Empírica de Degradação: Demonstração de que a aplicação dessas propriedades no treinamento de redes neurais resulta consistentemente em pior desempenho.
3. Identificação de Artefatos de Framework: Revelação de que grandes efeitos de curriculum learning observados em PyTorch (torch.compile) são artefatos de otimização de kernel que não se replicam em MLX, destacando a necessidade de validação cruzada de plataformas.
4. Explicação Mecanística: Uma explicação teórica de por que a "anti-habituação" em uma sequência fixa é prejudicial para a otimização baseada em gradiente.

---

4. Resultados Chave

A. Caracterização Estatística

A sequência de King Wen não é aleatória nem sistemática. Ela exibe uma variância significativamente maior que a aleatória e uma autocorrelação negativa (uma transição grande é sistematicamente seguida por uma pequena, e vice-versa), criando um perfil de "surpresa" de alta variância.

B. Modulação da Taxa de Aprendizado (LR)

• Resultado: A modulação da LR baseada na sequência de King Wen degradou o desempenho em todas as amplitudes testadas.
• Comparação: Enquanto perturbações aleatórias e a ordem de Shao Yong mostraram melhorias marginais (dentro da variância natural), a sequência de King Wen aumentou o val_bpb (piorou) de forma monótona com o aumento da amplitude.

C. Ordenação Curricular

• Plataforma CUDA (PyTorch): A ordem aleatória (random shuffle) foi a melhor. A sequência de King Wen foi a pior ordenação não sequencial testada.
• Plataforma MLX (Apple Silicon): Nenhuma ordenação (incluindo King Wen) mostrou diferença estatisticamente significativa em relação à ordem sequencial ou ao ruído natural.
• Conclusão: O efeito de curriculum observado no PyTorch parece ser um artefato de como o torch.compile otimiza kernels para dados sequenciais, e não uma dinâmica de aprendizado genuína.

D. Análise de Sementes

Uma varredura de 30 sementes confirmou que as "melhorias" de outras abordagens estavam dentro da variância natural. Apenas a degradação causada pela sequência de King Wen foi estatisticamente significativa e excedeu a variância natural observada.

---

5. Significado e Conclusão

O artigo estabelece uma distinção crucial entre "estatisticamente interessante" e "útil para otimização".

• Por que falhou? As propriedades que tornam a sequência de King Wen matematicamente distinta (alta variância e autocorrelação negativa) são exatamente o que a torna prejudicial para a otimização baseada em gradiente:
  1. Variância Excessiva: Desestabiliza as atualizações do gradiente.
  2. Autocorrelação Negativa: Impede a construção de momentum (inércia) no otimizador, pois a intensidade da perturbação reverte a cada passo, quebrando a coerência temporal necessária para a convergência.
  3. Falta de Adaptação: Diferente de curriculum learning adaptativo, a sequência é fixa e não responde ao estado atual do modelo ou à paisagem de perda.

Impacto Científico:
O trabalho serve como um exemplo valioso de resultados negativos na comunidade de IA, prevenindo que outros pesquisadores sigam caminhos especulativos sem fundamento empírico. Além disso, fornece um modelo metodológico para testar hipóteses de ordenação de dados, enfatizando a necessidade de controle de variáveis de hardware e framework (como torch.compile) e a realização de varreduras de sementes robustas para distinguir sinais reais de ruído.

Em suma, a estrutura combinatória elegante do I-Ching não se traduz em eficiência computacional para redes neurais modernas; a "anti-habituação" em uma sequência fixa não substitui o design de curricula adaptativos.