Resumo Técnico: Densidade de Informação de Transição e Interpolação Estruturada no Treinamento Neural

Declaração do Problema

Os procedimentos padrão de treinamento de aprendizado de máquina tratam os dados como pares discretos de entrada-saída, exigindo que os modelos aprendam o mapeamento do estado $A$ para o estado $B$. Esta abordagem ignora sistematicamente a estrutura do espaço entre esses pontos terminais: os estados intermediários, a informação codificada dentro deles e como essa informação é distribuída em função da posição. Consequentemente, os modelos aprendem o que $A$ e $B$ são, mas não como $A$ se torna $B$. Este artigo argumenta que a estrutura de transição contém informação recuperável — atualmente descartada pelo treinamento padrão — que é essencial para produzir representações internas geometricamente coerentes, interpretáveis e alinhadas.

Estrutura Teórica

O artigo introduz dois construtos formais para caracterizar a informação no espaço de transição:

1. Densidade de Informação de Transição (DIT): Definida como a informação mútua entre uma sequência de Identidades Posicionais (a localização definida de um estado intermediário no contínuo $A$-para-$B$) e a sequência de estados representacionais. Uma alta DIT implica que conhecer a posição de um estado no contínuo revela informação sobre seu conteúdo.
2. Identidade Posicional: A localização definida de um estado intermediário no contínuo $A$-para-$B$, expressa como uma razão de mistura $p \in [0, 1]$. Isso distingue a interpolação estruturada (onde a posição é fixa e significativa) da aumentação de dados padrão (onde amostras sintéticas carecem de contexto relacional definido).

O framework é fundamentado em três contextos paralelos:

• Sinestesia Grafema-Cor: Um fenômeno neurológico onde atribuições categóricas de cores a símbolos são funções da posição do símbolo dentro de um campo relacional contínuo de símbolos morfologicamente adjacentes, em vez de identidade isolada.
• A Grade Sinestésica: Uma instanciação algorítmica prévia que computa quadros intermediários geometricamente coerentes entre símbolos alfanuméricos em resolução controlável $N$, tratando cada quadro como um estado com uma Identidade Posicional definida.
• Caracterização de Forma de Nove Métricas: Um framework para analisar formas de transição, incluindo linearidade, localização do ponto de inflexão ($p^*$), assimetria, curvatura e variância dimensional.

Metodologia

Os autores conduziram um experimento de treinamento controlado para testar se a aumentação de pares de pontos terminais com estados intermediários estruturados produz uma geometria representacional diferente do treinamento apenas em pontos terminais ou em dados não estruturados de volume equivalente.

Desenho Experimental

O experimento utilizou quatro meios representacionais distintos ($M1$–$M4$):

1. Visual-Morfológico: Quadros de símbolos codificados via CLIP ViT-B/32.
2. Fonético/Linguístico: Descrições fonéticas codificadas via um transformer de sentenças.
3. Descrição Semântica: Descrições de uso contextual codificadas via um transformer de sentenças.
4. Cross-Modal: Pares combinando modalidades visuais e linguísticas.

Quatro condições de treinamento foram comparadas:

• C1 (Apenas Pontos Terminais): Treinamento de linha de base em pares $A$ e $B$ apenas.
• C2 (Aumentação de Volume Equivalente): Treinamento em pontos terminais mais $N$ intermediários sintéticos amostrados aleatoriamente de pares não relacionados (controlando o volume de dados).
• C3 (Interpolação Estruturada): Treinamento em pontos terminais mais $N$ intermediários estruturados em Identidades Posicionais definidas e uniformemente espaçadas ao longo do caminho específico $A$-para-$B$.
• C4 (Interpolação de Mesmo Par Aleatória): Treinamento em pontos terminais mais $N$ intermediários em Identidades Posicionais aleatórias ao longo do caminho específico $A$-para-$B$ (isolando o efeito do espaçamento definido).

Métricas

• Dimensionalidade Intrínseca: Medida usando o estimador TwoNN (Dois Vizinhos Mais Próximos) em representações ocultas extraídas de sondas MLP rasas treinadas para prever a Identidade Posicional. Uma dimensionalidade menor indica geometria mais organizada e comprimida.
• Acurácia de Sondagem Linear: Medida via regressão logística em estados ocultos congelados.
• Métricas de Forma de Transição: Análise do ponto de inflexão ($p^*$) e da geometria do caminho.

Resultados Principais

1. O Efeito da Interpolação Estruturada

O experimento confirmou que a interpolação estruturada (C3) produz uma geometria representacional mensuravelmente mais organizada do que a aumentação de volume equivalente (C2) em espaços específicos:

• Espaço Fonético/Linguístico: C3 alcançou uma dimensionalidade intrínseca de 3,33 (±0,75) comparado aos 10,81 (±7,42) de C2, uma redução de ~69%.
• Espaço de Descrição Semântica: C3 alcançou 4,59 (±1,04) comparado aos 8,67 (±4,78) de C2, uma redução de ~47%.
• Significância Estatística: Estas diferenças foram altamente significativas ($p < 10^{-30}$), confirmando que a estrutura da trajetória, e não meramente o volume de dados, impulsiona o efeito organizacional.

2. Condição de Fronteira de Modalidade

O efeito não foi observado nos meios Visual-Morfológico ou Cross-Modal.

• No espaço Visual-Morfológico, C3 (5,42) exibiu dimensionalidade maior que C2 (4,32).
• No espaço Cross-Modal, C3 (6,51) foi significativamente maior que C2 (3,90).
• Análise Agrupada: No espaço Visual-Morfológico, o treinamento C3 causou o colapso global de todos os pares de símbolos para um único ponto degenerado (Pooled TwoNN = 0,075), enquanto o espaço Fonético/Linguístico manteve a consistência global (Pooled TwoNN = 0,977) preservando a estrutura local. Isso sugere que o efeito é mediado pela estrutura representacional global do espaço de embedding.

3. O Papel da Identidade Posicional

A condição C4 (interpolação de mesmo par aleatória) resultou em representações quase unidimensionais (TwoNN $\approx$ 1,0–1,6) em todos os meios, significativamente menores que C3. Isso indica que o posicionamento aleatório leva ao colapso representacional (aprendizado de apenas uma variável contín verdadeiramente contínua), enquanto Identidades Posicionais uniformemente espaçadas e definidas forçam o modelo a aprender estruturas geométricas mais ricas e de maior dimensão.

4. Escalonamento de Resolução (Hipótese 2)

A dimensionalidade intrínseca aumentou monotonicamente com a resolução $N$ (de $N=5$ para $N=50$) em todos os meios. Com $N$ fixo em 50, C3 superou C4 em 18–25 unidades TwoNN em todos os meios. Isso confirma que a riqueza representacional é uma função contínua da resolução da Identidade Posicional, independente da contagem de amostras.

5. Análise do Ponto de Inflexão

A localização da mudança representacional máxima ($p^*$) mostrou uma tendência de "pico tardio" (médias entre 0,585 e 0,632) dentro de cada meio, mas não foi correlacionada entre os meios ($|r| \approx 0,04$). Isso estabelece que a lógica estrutural das transições é uma propriedade do próprio espaço representacional, não do par de símbolos específico.

Significância e Alegações

O artigo afirma realizar cinco contribuições teóricas:

1. Definições Formais: Estabelecimento de DIT e Identidade Posicional como construtos necessários para caracterizar a informação de transição.
2. Instanciação Morfológica: Demonstração, via Grade Sinestésica, de que estados significativos e analisáveis existem entre os pontos terminais simbólicos.
3. Correlação Sinestésica: Validação da hipótesia de que saídas categóricas (como cores sinestésicas) codificam a posição relacional em vez da identidade isolada.
4. Caracterização de Forma: Fornecimento de um framework de nove métricas para visualizar e analisar a geometria da transição.
5. Hipótese da Interpolação Estruturada: Confirmação empírica de que o treinamento em caminhos transicionais estruturados produz dimensionalidade intrínseca menor (geometria mais organizada) em espaços linguísticos e semânticos, enquanto estabelece uma condição de fronteira de modalidade onde este efeito se inverte ou colapsa em espaços visuais.

O artigo conclui que a informação descartada pelo treinamento padrão de apenas pontos terminais — a estrutura da transição — é recuperável e, quando codificada, produz representações que são geometricamente coerentes. Esta coerência é apresentada como uma condição necessária para a interpretabilidade mecânica e o alinhamento, pois permite que o mapa interno de conceitos do modelo seja organizado, auditável e consistente entre as entradas. Os achados sugerem que o treinamento por DIT deve ser aplicado seletivamente a espaços representacionais onde a interpolação estruturada gera organização global coerente, em vez de ser uma estratégia de aumentação universal.