Resumen Técnico: Ingeniería de Características como Sesgo de Identificabilidad para la Generalización Fuera de Distribución

1. Declaración del Problema

Las redes neuronales profundas sobresalen en la interpolación dentro del soporte de sus datos de entrenamiento, pero a menudo fallan en la extrapolación fuera de distribución (OOD). Aunque el Teorema de Aproximación Universal garantiza capacidades de interpolación, la extrapolación matemáticamente garantizada sigue siendo un problema sin resolver.

El problema central identificado en este trabajo es la equivalencia observacional. En cualquier ventana de entrenamiento finita $W$, infinitos procesos generadores de datos (DGP) pueden ser $\epsilon$-observacionalmente equivalentes (indistinguibles dentro de una tolerancia $\epsilon$) pero divergir arbitrariamente fuera de $W$. En consecuencia, ningún criterio dentro de la distribución por sí solo (como la pérdida de entrenamiento, la validación cruzada o la pérdida retenida en $W$) puede distinguir de manera fiable el proceso subyacente real de estas hipótesis confusas. El artículo argumenta que la extrapolación OOD es no identificable a partir de los datos por sí solos; la elección de la representación y la clase de modelo constituye un "compromiso estructural" que resuelve esta ambigüedad.

2. Metodología y Marco Teórico

2.1 El Compromiso del DGP $(\phi, \psi, M)$

Los autores formalizan el proceso de aprendizaje como un compromiso conjunto que involucra tres componentes:

1. Mapa de Características ($\phi$): Transforma la entrada $x$ a un espacio de representación $Z_x$.
2. Mapa de Etiquetas ($\psi$): Transforma el objetivo $y$ a $Z_y$.
3. Clase de Modelo ($M$): La clase de hipótesis que opera sobre los espacios transformados.

El artículo postula que la tripleta $(\phi, \psi, M)$ dicta el DGP asumido. Si este compromiso se alinea con el DGP real de tal manera que el objetivo se vuelve linealmente expresable (o de otro modo simple) en el espacio transformado, la extrapolación OOD se convierte en interpolación.

2.2 Equivalencia Observacional e Identificabilidad

La Proposición 1 establece que la Minimización del Riesgo Empírico (ERM) es ciega a procesos observacionalmente equivalentes. Para cualquier ventana finita $W$ y nivel de ruido $\sigma$, si dos procesos $P_1$ y $P_2$ coinciden en $W$ dentro de una tolerancia $\epsilon$, ninguna prueba soportada en $W$ puede distinguirlos de manera fiable cuando $\epsilon\sqrt{n} \ll \sigma$. Esto implica que los criterios de selección estándar (como la validación cruzada) no pueden romper el empate entre DGPs competidores que son observacionalmente equivalentes en el conjunto de entrenamiento.

La Proposición 2 introduce una heurística para romper este empate: datos cercanos al límite. Si dos procesos divergen a una tasa $r$ fuera de la ventana de entrenamiento, un segmento de validación de ancho $\delta \ge \epsilon/r$ inmediatamente adyacente al límite de entrenamiento saldrá de la zona de acuerdo. Puntuar candidatos en este segmento cercano al límite permite seleccionar el compromiso estructural correcto.

2.3 Existencia Constructiva

El artículo demuestra que si el DGP real es realizable dentro de la clase de modelo $M$ después de la transformación (es decir, $g^* \circ \phi = f$ en todo $X$, no solo en $W$), y el modelo es identificable a partir de muestras finitas, entonces el error OOD desaparece ($\epsilon_{OOD} = 0$). Esto se muestra para:

• Funciones sinusoidales: El uso de coordenadas de Fourier $\phi(x) = (\sin x, \cos x)$ convierte la extrapolación periódica en interpolación sobre un círculo $S^1$.
• Leyes de potencia: El uso de transformaciones log-log.
• Exponenciales: El uso de transformaciones log-y.

3. Contribuciones Clave

1. Formalización de la Equivalencia Observacional: El artículo proporciona una cota inferior teórica sobre la capacidad de cualquier prueba dentro de la distribución para distinguir entre procesos observacionalmente equivalentes, demostrando que el riesgo OOD no es identificable sin compromisos estructurales.
2. El Marco del Compromiso del DGP: Identifica $(\phi, \psi, M)$ como la única fuente de información estructural que un modelador puede aportar para resolver la ambigüedad OOD. Argumenta que la "ingeniería de características" no es una desviación del éxito del aprendizaje profundo, sino la inyección explícita del compromiso estructural necesario.
3. Experimentos Controlados en Pares Mínimos: Los autores aíslan variables para mostrar que arquitecturas idénticas con pérdida dentro de la distribución (ID) idéntica pueden diferir en órdenes de magnitud (por ejemplo, $\sim520\times$) en el rendimiento OOD únicamente basándose en el mapa de características $\phi$.
4. Validación Transversal de Dominios: El mecanismo se valida en tres dominios de ciencias naturales:
   • Química: Cinética de acción de masas (MAK) donde características bilineales linealizan la dinámica.
   • Física: La Tercera Ley de Kepler para la predicción de exoplanetas, donde las transformaciones logarítmicas recuperan los exponentes físicos.
   • Biología: Detección de ADN codificante entre especies, donde características invariantes al código genético transfieren cero-shot entre organismos con contenido GC variable.
5. Artefactos para el Practicante:
   • Validación Cercana al Límite: Una heurística de selección superior a la validación cruzada para elegir mapas de características.
   • Diagnóstico $\delta_{OOD}$: Una métrica basada en SINDy (Identificación Esparsa de Dinámicas No Lineales) que correlaciona el residuo de un ajuste esparso en datos OOD con la corrección del mapa de características.
   • Verificación de Invarianza de Arquitectura: Un estudio que muestra que la garantía OOD pertenece al mapa de características (por ejemplo, Codificación Posicional Exacta de Fourier), no a la arquitectura base (Transformer, Mamba o S4D).

4. Resultados Experimentales

4.1 Experimentos de Juguete (Sin(x) y Leyes de Potencia)

• Sin(x): Una MLP entrenada con $x$ cruda extrapolan como una curva suave y nivelada con un alto error OOD ($\sim156\%$). Una MLP idéntica entrenada con características de Fourier $(\sin x, \cos x)$ logra un error OOD cercano a cero ($\sim0.3\%$). Los modelos fundacionales (TimesFM, TabPFN) exhiben el mismo comportamiento: tienen éxito cuando el formato de entrada proporciona implícitamente el mapa de características correcto y fallan en caso contrario.
• Ley de Potencia vs. Exponencial: En un escenario donde $x^2$ y $e^{\alpha(x-1)}$ son observacionalmente equivalentes en $[1, 2]$, solo el mapa de características transformado por logaritmo correcto combinado con un modelo lineal (OLS) logra un bajo error OOD. Compromisos incorrectos (por ejemplo, log-log en un objetivo exponencial) resultan en un fallo catastrófico ($>9,999\%$ de error).

4.2 Dominios de Ciencias Naturales

• Química (MAK): Las características bilineales permiten que OLS recupere las ecuaciones gobernantes exactas con $0.0\%$ de error OOD, mientras que las MLPs crudas fallan ($24.4\%$).
• Física (Kepler): El uso de $(\log a, \log M_{star})$ con OLS recupera la ley física con un $3.8\%$ de error OOD. Las MLPs crudas sobreajustan los datos ID ($6.9\%$) pero fallan en OOD ($79.0\%$).
• Biología (CDS): Las codificaciones posicionales estándar (APE aprendida, sinusoidal) fallan al generalizar entre especies con diferentes contenidos GC (descendiendo a niveles de azar). Los mapas de características que codifican la periodicidad de los codones y la composición de aminoácidos permiten la transferencia cero-shot con un AUROC de hasta $0.96$.

4.3 Invarianza de Arquitectura (Transformer, Mamba, S4D)

En una tarea de secuencia periódica, la Codificación Posicional Exacta de Fourier logra un error OOD cercano a cero ($\le 0.2\%$) en las tres arquitecturas y varias longitudes de periodo. Por el contrario, las codificaciones posicionales sinusoidales estándar, RoPE y aprendidas fallan ($>90\%$ de error). Esto confirma que la garantía OOD es una propiedad del mapa de características, no de la arquitectura.

4.4 Límites y Condiciones Necesarias

Utilizando un benchmark de toro $d$-dimensional periódico, el artículo identifica tres condiciones conjuntamente necesarias para la generalización OOD:

1. Alineación de Representación: El mapa de características debe alinearse con el DGP.
2. Capacidad de la Clase de Modelo: El modelo debe poder expresar el orden de interacción del objetivo en el espacio transformado.
3. Cobertura: Los datos de entrenamiento deben cubrir suficientemente el espacio de representación relevante (cobertura crítica $M_{crit} \approx 4$).
   El estudio muestra que incluso con un mapa de características correcto, ocurre un fallo OOD si la clase de modelo carece de capacidad o si la cobertura de la muestra es insuficiente.

5. Significado y Afirmaciones

El artículo afirma resolver el "cuándo y por qué" del fallo de extrapolación de las redes neuronales. Argumenta que:

• El riesgo OOD no es identificable a partir de datos en una sola ventana; el compromiso estructural $(\phi, \psi, M)$ es el único mecanismo para resolver esto.
• La ingeniería de características no está obsoleta. Aunque el aprendizaje profundo puede aprender características dentro de la distribución, se requieren compromisos estructurales explícitos para la extrapolación.
• El preentrenamiento no resuelve el problema. Los modelos preentrenados heredan el problema del compromiso a través de su formato de entrada; tienen éxito solo cuando el usuario proporciona la transformación correcta.
• Las características correctas son necesarias pero no suficientes. La clase de modelo debe expresar el objetivo y los datos deben cubrir el espacio de representación.

Los autores concluyen que el "conjunto Rashomon" (el conjunto de modelos que coinciden en los datos de entrenamiento pero discrepan fuera de distribución) se navega no solo con datos, sino mediante la elección del modelador del compromiso estructural. El artículo reencuadra la ingeniería de características como la inyección explícita del compromiso del DGP requerido para hacer identificable la extrapolación.