🤖 AI

Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

Este artículo revela que los aprendices en contexto para datos tabulares inevitablemente dirigen las predicciones a través de señales espurias incrustadas en características compuestas en lugar de señales causales verdaderas, un fallo que empeora con contextos más grandes y mayor expresividad del modelo, pero que puede mitigarse eficazmente mediante la construcción de contextos estratificados por entorno y la aumentación S-swap.

Autores originales: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Publicado 2026-07-29

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo predecir el clima. Le muestras mil fotos de días soleados y, en cada una de las fotos, el cielo es azul. El robot aprende una regla simple: "Cielo azul significa sol". Pero aquí está el truco: en tus fotos de entrenamiento, el cielo es siempre azul porque solo tomaste las fotos durante el día. Nunca le mostraste al robot una sola foto de un cielo nublado por la noche. El robot no aprendió que el "sol" causa el "cielo azul"; simplemente aprendió que el "azul" y el "sol" aparecen juntos por casualidad. Si más tarde le muestras una foto de un cielo azul por la noche (lo cual es imposible, pero digamos que el robot ve una pantalla azul), podría confundirse. Este es el mundo del Aprendizaje Automático (Machine Learning), específicamente un truco ingenioso llamado Aprendizaje en Contexto (In-Context Learning). En lugar de reentrenar al robot desde cero cada vez, simplemente le das unos pocos ejemplos justo antes de que haga una suposición, y él descubre el patrón sobre la marcha. Es como entregarle a un detective unas cuantas pistas y decirle: "Resuelve este caso", sin cambiar nunca el cerebro del detective. Pero, ¿qué pasa si esas pistas son engañosas? ¿Qué pasa si las pistas apuntan a un sospechoso que es inocente, solo porque casualmente estaba en la escena del crimen en cada foto que le mostraste al detective?

Este artículo investiga una trampa astuta que puede engañar a estos robots inteligentes y flexibles cuando se utilizan para cosas como predecir la recuperación de pacientes en hospitales. Los investigadores descubrieron que cuando un robot ve una mezcla de información "real" (como la salud real de un paciente) e información "falsa" (como un error en el equipo específico de un hospital), a menudo es engañado. Aprende a confiar en el error porque, en los datos de entrenamiento, el error coincidió perfectamente con el resultado. El artículo demuestra que el simple hecho de darle al robot más ejemplos no soluciona esto; de hecho, podría hacer que el robot sea aún más obstinadamente erróneo. Sin embargo, los autores también descubrieron un truco ingenioso y ligero para romper este hechizo, permitiendo que el robot ignore el error y se concentre en las señales reales de salud, incluso sin saber exactamente cómo es el error.

El detective y el termómetro roto

Sumerjámonos en la historia. Imagina un hospital donde se ha contratado a un nuevo sistema de IA para predecir qué tan rápido se recuperarán los pacientes. El sistema se le muestra información de un hospital específico. En este hospital, hay un problema oculto: los termómetros están ligeramente averiados. Siempre marcan 2 grados más de lo que deberían. Pero aquí está el giro: los pacientes que reciben la lectura de "fiebre alta" en estos termómetros averiados también resultan ser los que se recuperan rápidamente. ¿Por qué? Porque los termómetros averiados solo se usan en la sala VIP, y los pacientes VIP reciben una mejor atención y se recuperan más rápido.

La IA, siendo una superinteligente comparadora de patrones, observa los datos y dice: "¡Ajá! ¡Las lecturas de temperatura alta significan recuperación rápida!". No sabe nada de la sala VIP o del termómetro averiado. Solo ve que la Temperatura (S) y la Recuperación (Y) son mejores amigos en los datos que se le dieron. Por lo tanto, cuando hace una predicción, dirige su decisión a través de la lectura de temperatura. Piensa: "¡Apuesto por la temperatura!".

Ahora, imagina que esta IA es enviada a un nuevo hospital. Este nuevo hospital tiene termómetros nuevos y perfectos. La sala VIP ha desaparecido. El vínculo entre "temperatura alta" y "recuperación rápida" se ha roto. Pero la IA sigue usando su vieja regla: "Temperatura alta = Recuperación rápida". Debido a que los nuevos termómetros son precisos, la IA ve temperaturas normales para pacientes enfermos y predice que se recuperarán lentamente, o ve temperaturas altas para pacientes sanos y predice que se recuperarán rápido. Falla por completo, y falla silenciosamente, porque no tiene forma de saber que fue engañada por el termómetro averiado en primer lugar.

El artículo llama a esto "Enrutamiento Espurio" (Spurious Routing). La IA está "enrutando" su decisión a través de una señal falsa (el termómetro averiado) en lugar de la señal real (la salud real del paciente).

La trampa de las señales compuestas

Los investigadores se dieron cuenta de que esto no se trata solo de termómetros rotos. Ocurre siempre que una sola pieza de datos es un "paquete" de dos cosas: la Señal Real (la verdadera salud del paciente) y la Señal Espuria (el error del equipo). En el mundo de las matemáticas, llaman a esto una "representación compuesta".

El artículo plantea una gran pregunta: ¿Podemos enseñar a la IA a ignorar el error? Los autores probaron dos tipos de detectives de IA:

El Detective Lineal: Una IA simple, basada en reglas, que realiza matemáticas básicas (como una hoja de cálculo muy inteligente).
TabPFN: Una IA súper compleja y de "vanguardia" que es como un detective genio que ha leído todos los libros de medicina del mundo.

Realizaron miles de simulaciones donde controlaron exactamente cuánto se mezclaba el "error" (S) con la "salud real" (C). Encontraron algo sorprendente y un poco aterrador: La IA no puede solucionar esto por sí sola.

Incluso si le das a la IA más y más ejemplos del primer hospital, no se vuelve más inteligente respecto al error. De hecho, el artículo muestra que darle a la IA más contexto (más ejemplos) en realidad la hace más comprometida con la respuesta incorrecta. Si el error fue ligeramente útil en los datos de entrenamiento, la IA insistirá en él. Cuantos más ejemplos le muestres, más creerá que el error es la verdad.

Los autores demostraron matemáticamente que, mientras el error y el resultado estén vinculados en los datos de entrenamiento, la IA debe usar el error. No es un fallo; es una característica de cómo funcionan estos modelos. Lo llaman "enrutamiento espurio inevitable".

El truque de magia: El "S-Swap"

Entonces, si la IA está condenada a ser engañada, ¿hay alguna esperanza? Los autores dicen que sí, y encontraron una solución que es sorprendentemente simple. Lo llaman "aumentación S-swap".

Imagina que eres el detective otra vez. Tienes una pila de archivos de casos. En cada archivo, hay una lectura de temperatura y un tiempo de recuperación. Los archivos son todos de la sala VIP con los termómetros averiados.
El truco "S-swap" es así: Tomas la lectura de temperatura del Archivo A y la intercambias con la lectura de temperatura del Archivo B, pero mantienes el mismo tiempo de recuperación.

Archivo A (Original): "Termómetro averiado dice 104°F, Paciente se recuperó rápido".
Archivo B (Original): "Termómetro averiado dice 98°F, Paciente se recuperó lento".

Intercambias las temperaturas:

Archivo A (Modificado): "Termómetro averiado dice 98°F, Paciente se recuperó rápido".
Archivo B (Modificado): "Termómetro averiado dice 104°F, Paciente se recuperó lento".

Ahora, mira el patrón. ¡La temperatura ya no predice la recuperación! La temperatura alta ahora se empareja con una recuperación lenta, y la temperatura baja se empareja con una recuperación rápida. El vínculo se ha roto. La IA mira estos nuevos datos intercambiados y se da cuenta: "Un momento. ¡La temperatura no importa en absoluto! Es solo ruido".

El artículo muestra que este truco funciona increíblemente bien.

Para el Detective Lineal simple, redujo la dependencia del error en un 74%.
Para el superinteligente TabPFN, redujo la dependencia en un masivo 98.8%.

Lo que es mejor, la IA no solo se quedó "confundida" o "se rindió". De hecho, comenzó a prestar atención a la señal de salud real. El artículo encontró que la sensibilidad de la IA hacia la causa real aumentó 8.4 veces. No dejó de aprender; simplemente aprendió lo correcto.

Por qué esto es importante

Los investigadores también probaron esto con datos del mundo real, utilizando un conjunto de datos de células de páncreas humanas de diferentes laboratorios. Aunque no sabían exactamente qué partes de los datos eran el "error" y cuáles eran la "biología real", pudieron estimar el error simplemente observando cómo variaban los datos entre laboratorios. Cuando aplicaron el truque S-swap, la dependencia de la IA de los errores específicos de cada laboratorio cayó casi un 89%.

El artículo concluye que no necesitamos reconstruir estos poderosos modelos de IA ni enseñarles reglas complejas nuevas. Solo necesitamos ser más inteligentes con los ejemplos que les mostramos. Al intercambiar las partes "con errores" de los datos antes de que la IA haga una suposición, podemos engañar a la IA para que ignore las señales falsas y se concentre en la verdad.

Es un recordatorio de que en el mundo de la IA, a veces lo más inteligente que puedes hacer no es darle al robot más datos, sino reorganizar los datos que ya tienes para que el robot no pueda evitar ver la verdad. El artículo demuestra que, si bien estos modelos son poderosos, también son vulnerables al "enrutamiento espurio", pero con un poco de ingenioso mezclado de datos, podemos guiarlos de vuelta al camino correcto.

Resumen Técnico: Entrelazados por Diseño: Enrutamiento de Señal Espurio Intra-Variable en Aprendices Tabulares de Contexto en Tiempo Real

Declaración del Problema

El artículo aborda un modo de fallo crítico en el Aprendizaje en Contexto (ICL) para datos tabulares, específicamente cuando los modelos se despliegan en entornos heterogéneos (por ejemplo, diferentes hospitales o lotes experimentales). El problema central es el enrutamiento de señal espurio intra-variable.

En muchos escenarios del mundo real, un vector de características observado $X$ es un compuesto de una señal causal verdadera $C$ (por ejemplo, la salud de un paciente) y una señal espuria $S$ (por ejemplo, artefactos de equipos o efectos de lote), a menudo entrelazadas dentro del mismo espacio de características o en subespacios distintos: $X = [C; \alpha S; \eta]$ . Dentro de un mismo entorno, un confuso no observado $U$ (por ejemplo, la demografía del paciente) puede impulsar tanto la señal espuria $S$ como el resultado $Y$ , creando una correlación en contexto no nula $\text{Corr}(S, Y) \neq 0$ .

Los modelos de ICL estándar, como TabPFN o los estimadores lineales de Ridge, solo observan los ejemplos del contexto. Estos aprenden racionalmente a enrutar las predicciones a través de $S$ porque $S$ es predictivo dentro del contexto, a pesar de que $S$ no es causal. Cuando se despliega en un nuevo entorno donde la relación entre $S$ y $Y$ cambia (debido a diferentes equipos o factores específicos del sitio), el modelo falla silenciosamente. Esto difiere de los problemas tradicionales de correlación espuria entre variables porque las señales causales y espurias suelen estar entrelazadas dentro de un único vector de características observado o en subespacios distintos del de una representación compuesta, lo que las hace indistinguibles mediante estadísticas estándar de contexto por sí solas.

Metodología

Marco Teórico

Los autores formalizan el escenario utilizando un Modelo Causal Estructural (SCM) donde:

Señal Causal ( $C$ ): Invariante a través de los entornos.
Señal Espuria ( $S$ ): Correlacionada con $Y$ solo a través de un confuso compartido $U$ dentro de un entorno.
Observación Compuesta: $X = [C; \alpha S; \eta]$ , donde $\alpha$ controla la fuerza del entrelazamiento.

El artículo introduce la Relación de Sensibilidad Causal (CSR) como una métrica diagnóstica para cuantificar el comportamiento de enrutamiento:
$\text{CSR}(w) := \frac{\mathbb{E}[|w_S \alpha \Delta S|]}{\mathbb{E}[|w_C \Delta C|]}$
donde $\Delta S$ y $\Delta C$ representan perturbaciones (intercambios) de los componentes espurio y causal, respectivamente.

$\text{CSR} \approx 0$ : El modelo enruta a través de la señal causal.
$\text{CSR} > 1$ : El modelo es más sensible a la señal espuria que a la causal (régimen de fallo).

Análisis Teórico

Los autores derivan una caracterización de forma cerrada para la CSR de población bajo ICL de Ridge (aprendizaje en contexto lineal):
$\text{CSR}_{\text{pop}} = \underbrace{\frac{\alpha^2}{\alpha^2 + \lambda}}_{\text{entrelazamiento}} \cdot \underbrace{\frac{\rho_S}{\rho_C}}_{\text{ratio de señal}} \cdot \underbrace{(1 + \lambda)\kappa(\delta)}_{\text{constante de protocolo}}$
Hallazgos teóricos clave incluyen:

Inevitabilidad: Bajo confusión en contexto ( $\rho_S \neq 0$ ), el enrutamiento espurio es inevitable para cualquier fuerza de regularización $\lambda > 0$ .
Tamaño del Contexto: Los tamaños de contexto más grandes no resuelven el problema; en regímenes de alta espuriedad, pueden amplificar el compromiso con la señal espuria hasta en $1.74\times$ .
Identificabilidad: El enrutamiento es inidentificable si $C$ y $S$ comparten una única coordenada escalar ( $D=1$ ); se requieren subespacios distintos para el diagnóstico.

Estrategias de Mitigación

El artículo propone dos intervenciones ligeras y agnósticas al modelo que operan a nivel de construcción del contexto, requiriendo solo etiquetas de entorno débiles (por ejemplo, IDs de lote) y sin conocimiento de la partición causal:

Construcción de Contexto Estratificada por Entorno: Muestreo de ejemplos de contexto de diferentes entornos para mezclar las distribuciones de $S$ mientras se mantienen constantes los niveles de $Y$ , reduciendo la $\text{Corr}(S, Y)$ en contexto.
Aumentación S-swap: Para cada punto de contexto $(X_i, Y_i)$ , se añade una copia emparejada $(\tilde{X}_i, Y_i)$ donde las dimensiones espurias de $X_i$ son reemplazadas por las de un entorno diferente. Esto señala al modelo, a nivel de punto, que $S$ no predice $Y$ .

Resultados Clave

Validación Empírica

Los autores validaron su teoría tanto en ICL lineal (regresión de Ridge) como en TabPFN (un transformador tabular preentrenado de vanguardia) utilizando un modelo causal estructural controlado.

Correlación con la Teoría: La CSR empírica se correlaciona fuertemente con el predictor teórico $\hat{\rho}_S / \hat{\rho}_C$ ( $r=0.997$ para ICL lineal, $r=0.979$ para TabPFN).
Efectos de Amplificación:
- Aumentar el tamaño del contexto ( $n$ ) de 16 a 512 amplificó el enrutamiento espurio en $1.74\times$ en regímenes de alta espuriedad.
- Los modelos más expresivos (TabPFN) mostraron mayor vulnerabilidad que el ICL lineal en esquinas de alto entrelazamiento (una brecha de $+2.22$ en CSR), aunque fueron más sensibles a las mitigaciones.
Robustez: Las predicciones teóricas se mantuvieron incluso con solapamiento de subespacios (rotación de hasta $40^\circ$ ), con una caída de correlación solo ligera ( $r \geq 0.93$ ).

Desempeño de la Mitigación

ICL Lineal: S-swap redujo la CSR en un 74% y mejoró el RMSE Fuera de Distribución (OOD) en un 34.2%.
TabPFN: S-swap redujo la CSR en un 98.8% (de 5.777 a 0.067). Crucialmente, el modelo no se volvió agnóstico; se re-enrutó a través de la señal causal, aumentando la sensibilidad causal en 8.4 $\times$ .
Validación en el Mundo Real: En el conjunto de datos scIB pancreas (genómica de célula única), S-swap redujo la CSR en un 88.9% utilizando solo subespacios espurios estimados derivados de la estructura de lote, confirmando su aplicabilidad sin necesidad de etiquetas causales reales.

Significado y Reivindicaciones

El artículo afirma identificar y formalizar un modo de fallo específico del aprendizaje en contexto que es distinto de las correlaciones espurias entre variables. Sus principales contribuciones son:

Prueba Teórica de Imposibilidad: Demostrar que la regularización estándar no puede eliminar el enrutamiento espurio en representaciones compuestas cuando existe confusión en contexto.
Métrica Diagnóstica: Introducir la CSR como un diagnóstico robusto basado en perturbaciones que cuantifica el comportamiento de enrutamiento incluso cuando las particiones causales son latentes.
Solución Agnóstica al Modelo: Proponer la aumentación S-swap, una intervención a nivel de contexto que obliga efectivamente a los modelos de ICL a ignorar las señales espurias y confiar en las causales sin requerir el reentrenamiento del modelo, cambios arquitectónicos o acceso a la partición causal.
Paradoja de la Expresividad: Destacar que, si bien los modelos más expresivos (como TabPFN) son más vulnerables al enrutamiento espurio en regímenes de alta espuriedad, su capacidad también les permite responder de manera más dramática a las señales de invariancia (como S-swap), lo que conduce a una recuperación superior en comparación con las líneas base lineales.

Los autores posicionan este trabajo como una corrección necesaria para el despliegue de ICL en dominios científicos y biomédicos, donde la heterogeneidad de los datos es la norma y los fallos silenciosos debido al cambio de conjunto de datos son riesgos críticos.