Resumen Técnico: Densidad de Información de Transición e Interpolación Estructurada en el Entrenamiento Neuronal

Declaración del Problema

Los procedimientos estándar de entrenamiento de aprendizaje automático tratan los datos como pares discretos de entrada-salida, requiriendo que los modelos aprendan el mapeo del estado $A$ al estado $B$. Este enfoque ignora sistemáticamente la estructura del espacio entre estos puntos finales: los estados intermedios, la información codificada dentro de ellos y cómo esa información se distribuye en función de la posición. En consecuencia, los modelos aprenden qué son $A$ y $B$, pero no cómo $A$ se convierte en $B$. Este artículo sostiene que la estructura de la transición contiene información recuperable —actualmente descartada por el entrenamiento estándar— que es esencial para producir representaciones internas geométricamente coherentes, interpretables y alineadas.

Marco Teórico

El artículo introduce dos constructos formales para caracterizar la información en el espacio de transición:

1. Densidad de Información de Transición (TID, por sus siglas en inglés): Definida como la información mutua entre una secuencia de Identidades Posicionales (la ubicación definida de un estado intermedio en el continuo de $A$-a-$B$) y la secuencia de estados representacionales. Una alta TID implica que conocer la posición de un estado en el continuo revela información sobre su contenido.
2. Identidad Posicional: La ubicación definida de un estado intermedio en el continuo de $A$-a-$B$, expresada como una razón de mezcla $p \in [0, 1]$. Esto distingue la interpolación estructurada (donde la posición es fija y significativa) de la aumentación de datos estándar (donde las muestras sintéticas carecen de un contexto relacional definido).

El marco se fundamenta en tres contextos paralelos:

• Sinestesia Gráfico-Color: Un fenómeno neurológico donde las asignaciones categóricas de color a los símbolos son funciones de la posición del símbolo dentro de un campo relacional continuo de símbolos morfológicamente adyacentes, en lugar de una identidad aislada.
• La Rejilla Sinestésica (Synesthesia Grid): Una instanciación algorítmica previa que computa fotogramas intermedios geométricamente coherentes entre símbolos alfanuméricos a una resolución controlable $N$, tratando cada fotograma como un estado con una Identidad Posicional definida.
• Caracterización de Forma de Nueve Métricas: Un marco para analizar las formas de transición, incluyendo la linealidad, la ubicación del punto de inflexión ($p^*$), la asimetría, la curvatura y la varianza dimensional.

Metodología

Los autores llevaron a cabo un experimento de entrenamiento controlado para probar si la aumentación de pares de puntos finales con estados intermedios estructurados produce una geometría representacional diferente a la del entrenamiento solo en puntos finales o con datos no estructurados de volumen equivalente.

Diseño Experimental

El experimento utilizó cuatro medios representacionales distintos ($M1$–$M4$):

1. Morfológico-Visual: Fotogramas de símbolos codificados mediante CLIP ViT-B/32.
2. Fonético/Lingüístico: Descripciones fonéticas codificadas mediante un transformador de frases (sentence transformer).
3. Descripción Semántica: Descripciones de uso contextual codificadas mediante un transformador de frases.
4. Multimodal: Pares que combinan modalidades visuales y lingüísticas.

Se compararon cuatro condiciones de entrenamiento:

• C1 (Solo Puntos Finales): Entrenamiento base en pares $A$ y $B$ únicamente.
• C2 (Aumentación de Volumen Equivalente): Entrenamiento en puntos finales más $N$ intermedios sintéticos muestreados aleatoriamente de pares no relacionados (controlando el volumen de datos).
• C3 (Interpolación Estructurada): Entrenamiento en puntos finales más $N$ intermedios estructurados en Identidades Posicionales definidas y uniformemente espaciadas a lo largo del camino específico de $A$-a-$B$.
• C4 (Interpolación de Mismo Par Aleatoria): Entrenamiento en puntos finales más $N$ intermedios en Identidades Posicionales aleatorias a lo largo del camino específico de $A$-a-$B$ (aislando el efecto del espaciado definido).

Métricas

• Dimensionalidad Intrínseca: Medida utilizando el estimador TwoNN (Two Nearest Neighbors) sobre representaciones ocultas extraídas de sondas MLP superficiales entrenadas para predecir la Identidad Posicional. Una menor dimensionalidad indica una geometría más organizada y comprimida.
• Precisión de Sondeo Lineal: Medida mediante regresión logística sobre estados ocultos congelados.
• Métricas de Forma de Transición: Análisis del punto de inflexión ($p^*$) y la geometría de la trayectoria.

Resultados Clave

1. El Efecto de la Interpolación Estructurada

El experimento confirmó que la interpolación estructurada (C3) produce una geometría representacional mensurablemente más organizada que la aumentación de volumen equivalente (C2) en espacios específicos:

• Espacio Fonético/Lingüístico: C3 alcanzó una dimensionalidad intrínseca de 3.33 (±0.75) frente al 10.81 (±7.42) de C2, una reducción de aproximadamente un 69%.
• Espacio de Descripción Semántica: C3 alcanzó 4.59 (±1.04) frente al 8.67 (±4.78) de C2, una reducción de aproximadamente un 47%.
• Significancia Estadística: Estas diferencias fueron altamente significativas ($p < 10^{-30}$), confirmando que la estructura de la trayectoria, y no meramente el volumen de datos, impulsa el efecto organizativo.

2. Condición Límite de la Modalidad

El efecto no se observó en los medios Morfológico-Visual o Multimodal.

• En el espacio Morfológico-Visual, C3 (5.42) exhibió una dimensionalidad mayor que C2 (4.32).
• En el espacio Multimodal, C3 (6.51) fue significativamente mayor que C2 (3.90).
• Análisis Agregado: En el espacio Morfológico-Visual, el entrenamiento C3 causó que todos los pares de símbolos colapsaran globalmente a un único punto degenerado (TwoNN Agregado = 0.075), mientras que el espacio Fonético/Lingüístico mantuvo la consistencia global (TwoNN Agregado = 0.977) preservando la estructura local. Esto sugiere que el efecto está mediado por la estructura organizativa global del espacio de incrustación (embedding space).

3. El Rol de la Identidad Posicional

La condición C4 (interpolación de mismo par aleatoria) resultó en representaciones casi unidimensionales (TwoNN $\approx$ 1.0–1.6) en todos los medios, significativamente menores que C3. Esto indica que el posicionamiento aleatorio conduce al colapso representacional (aprendizaje de una única variable continua), mientras que las Identidades Posicionales uniformemente espaciadas y definidas obligan al modelo a aprender estructuras geométricas de mayor dimensión y más ricas.

4. Escalamiento de Resolución (Hipótesis 2)

La dimensionalidad intrínseca aumentó monótonamente con la resolución $N$ (de $N=5$ a $N=50$) en todos los medios. Con un $N$ fijo de 50, C3 superó a C4 por 18–25 unidades de TwoNN en cada medio. Esto confirma que la riqueza representacional es una función continua de la resolución de la Identidad Posicional, independiente del recuento de muestras.

5. Análisis del Punto de Inflexión

La ubicación del cambio representacional máximo ($p^*$) mostró una tendencia de "pico tardío" (medias entre 0.585 y 0.632) dentro de cada medio, pero no estuvo correlacionada entre medios ($|r| \approx 0.04$). Esto establece que la lógica estructural de las transiciones es una propiedad del propio espacio representacional, no del par de símbolos específico.

Significancia y Reivindicaciones

El artículo afirma realizar cinco contribuciones teóricas:

1. Definiciones Formales: Establecer la TID y la Identidad Posicional como constructos necesarios para caracterizar la información de la transición.
2. Instanciación Morfológica: Demostrar, mediante la Rejilla Sinestésica, que existen estados significativos y analizables entre los puntos finales simbólicos.
3. Correlación Sinestésica: Validar la hipótesis de que los resultados categóricos (como los colores sinestésicos) codifican la posición relacional en lugar de la identidad aislada.
4. Caracterización de Forma: Proporcionar un marco de nueve métricas para visualizar y analizar la geometría de la transición.
5. Hipótesis de la Interpolación Estructurada: Confirmar empíricamente que el entrenamiento en trayectorias de transición estructuradas produce una dimensionalidad intrínseca menor (geometría más organizada) en espacios lingüísticos y semánticos, mientras se establece una condición límite de la modalidad donde este efecto se revierte o colapsa en espacios visuales.

El artículo concluye que la información que el entrenamiento estándar basado solo en puntos finales descarta —la estructura de la transición— es recuperable y, cuando se codifica, produce representaciones que son geométricamente coherentes. Esta coherencia se presenta como una condición necesaria para la interpretabilidad mecánica y la alineación, ya que permite que el mapa interno de conceptos del modelo esté organizado, sea auditable y consistente a través de las entradas. Los hallazgos sugieren que el entrenamiento con TID debe aplicarse selectivamente a los espacios representacionales donde la interpolación estructurada genera una organización global coherente, en lugar de como una estrategia de aumentación universal.