💻 computer science

Training as Treatment: A Causal Framework for Machine-Learning Evaluation

Este artículo introduce "Entrenamiento como Tratamiento", un marco causal que modela las asignaciones de roles de datos y las elecciones de procesos como intervenciones para analizar rigurosamente las métricas de evaluación de aprendizaje automático, considerando la interferencia inducida por el modelo y permitiendo diagnósticos más robustos para la equidad, la filtración y la generalización.

Autores originales: Vikas Ramachandra

Publicado 2026-08-10

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vikas Ramachandra

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El apretón de manos oculto del aprendizaje automático

Imagina que estás intentando enseñarle a un robot a reconocer gatos. Le muestras miles de imágenes y él aprende ajustando los ajustes de su "cerebro" interno. En el mundo de la informática, esto se llama aprendizaje automático (machine learning). Pero aquí está la parte difícil: ¿cómo sabemos si el robot es realmente inteligente o si solo memorizó las imágenes específicas que le mostraste? Normalmente, los científicos dividen sus datos en dos montones: un montón de "entrenamiento" para enseñar al robot y un montón de "prueba" para revisar su trabajo.

Durante mucho tiempo, los investigadores trataron esta división como un paso administrativo simple y aburrido, como separar la ropa en "blanca" y "oscura". Asumían que el montón de prueba era solo un espejo neutral, que reflejaba la verdadera capacidad del robot sin cambiarla. Sin embargo, una nueva forma de pensar sugiere que la manera en que clasificamos estos datos es, en realidad, una fuerza poderosa que moldea el cerebro del robot. Esta idea proviene de un campo llamado inferencia causal, que es básicamente la ciencia de averiguar qué causa qué. En lugar de solo observar lo que sucede, la inferencia causal pregunta: "Si hubiera hecho las cosas de manera diferente, ¿qué habría cambiado?". En el contexto de la IA, esto significa preguntar: "Si hubiera movido esta imagen específica del montón de 'enseñanza' al montón de 'prueba', ¿habría cambiado el cerebro del robot y sería diferente su puntuación final?".

Esta es exactamente la pregunta que un investigador llamado Vikas Ramachandra aborda en un nuevo artículo titulado "Training as Treatment" (El entrenamiento como tratamiento). El artículo sostiene que debemos dejar de tratar el proceso de entrenamiento como una rutina pasiva y empezar a tratarlo como un experimento médico. Así como un médico administra un medicamento específico a un paciente para ver si cura una enfermedad, debemos ver el acto de alimentar datos a una máquina como un "tratero" que cambia activamente el resultado.

El cerebro compartido del robot

La idea central del artículo de Ramachandra es simple pero revolucionaria: el cerebro del robot es un espacio compartido. Cuando le enseñas al robot con una imagen específica, esa imagen no se queda simplemente en el "montón de entrenamiento"; cambia el cerebro del robot para cada una de las otras imágenes que verá en el futuro.

Piénsalo como un aula de estudiantes estudiando para un gran examen. Si un estudiante (llamémosle "Punto de Datos A") aprende un truco ingenioso para resolver un problema matemático, y el profesor (el algoritmo) usa ese truco para ayudar a toda la clase, entonces todos los demás estudiantes se benefician. Pero si el "Punto de Datos A" aprende un truco incorrecto, toda la clase podría confundirse. En el aprendizaje automático tradicional, solemos pretender que el estudiante que toma el examen (el "conjunto de prueba") es completamente separado de los estudiantes que estudiaron (el "conjunto de entrenamiento"). Ramachandra dice que esto es una mentira. El estudiante de la prueba realiza el examen basándose en un cerebro que fue moldeado por los estudiantes de entrenamiento. Por lo tanto, mover una imagen del montón de entrenamiento al de prueba no es solo mover un archivo; es como quitar a un estudiante del grupo de estudio y ponerlo en el examen. Esto cambia el cerebro de los estudiantes restantes y también cambia quién está tomando el examen.

El experimento "Entrenamiento como Tratamiento"

Ramachandra propone un nuevo marco llamado "Training as Treatment". En lugar de simplemente ejecutar un modelo una vez y obtener una puntuación, sugiere que deberíamos realizar miles de pequeños experimentos para ver exactamente qué hace cada pieza de datos.

Él desglosa el proceso en diferentes "roles" para los datos:

Ajuste (Fitting): Los datos utilizados para enseñar al robot.
Validación: Los datos utilizados para ajustar los parámetros del robot (como decidir qué tan duro estudiar).
Evaluación: Los datos utilizados para dar la calificación final.
Auditoría: Un grupo especial de datos no tocados, utilizados para verificar si el robot es verdaderamente justo y preciso, sin permitir que el robot lo vea nunca durante el entrenamiento.

El artículo introduce el concepto de interferencia. En términos simples, esto significa que lo que le sucede a un punto de datos afecta a todos los demás. Si incluyes una imagen específica en el conjunto de entrenamiento, podría hacer que el robot sea mejor reconociendo gatos (un "derrame positivo") o podría hacerlo peor reconociendo perros porque se confundió (un "derrame negativo").

Para medir esto, el autor sugiere algunas formas ingeniosas de experimentar:

La inclusión aleatoria: Imagina lanzar una moneda por cada imagen de tu colección. Si sale cara, el robot la estudia; si sale cruz, el robot la ignora. Al hacer esto miles de veces, puedes ver exactamente cuánto ayuda o perjudica esa única imagen a la puntuación final del robot.
El intercambio por pares: Imagina tomar dos imágenes, la Imagen A y la Imagen B. Entrenas al robot con A pero no con B, luego las intercambias y entrenas con B pero no con A. Al comparar los resultados, puedes ver qué imagen es realmente más valiosa.

Qué mostraron los experimentos

El artículo no solo habla de teoría; realizó experimentos reales para probar estas ideas. Los investigadores utilizaron conjuntos de datos del mundo real (como registros médicos de cáncer de mama y calidad del vino) y crearon conjuntos de datos falsos con problemas conocidos (como imágenes con etiquetas incorrectas o trucos ocultos).

Esto es lo que encontraron:

1. La "división" es un embaucador
El hallazgo más sorprendente es que la forma en que divides tus datos (la "política de división") actúa como un interruptor mágico que cambia la puntuación del robot, incluso si el cerebro del robot permanece exactamente igual.

En sus simulaciones, el simple hecho de cambiar cómo dividían los datos hizo que la precisión del robot (llamada AUC) saltara o cayera hasta un 0.257.
Por ejemplo, en una simulación con datos ruidosos (desordenados), usar una división de "retención por conglomerados" (donde los elementos similares se agrupan) hizo que el robot pareciera mucho peor que usando una división aleatoria estándar. Esto demuestra que la "puntuación de prueba" no es solo una medida de qué tan inteligente es el robot; también es una medida de cómo se diseñó la prueba.

2. No todos los datos son iguales
Los experimentos demostaron que algunos robots "memorizan" imágenes pero no ayudan realmente a aprender.

Encontraron que eliminar ciertas imágenes de entrenamiento en realidad mejoró el rendimiento del robot en otras imágenes. Esto significa que esas imágenes eran perjudiciales o redundantes.
Por el contrario, eliminar otras imágenes empeoró al robot, lo que demuestra que eran útiles.
El artículo sugiere que una imagen puede ser "memorizada" (el robot la recuerda perfectamente) pero aun así ser "perjudicial" para la capacidad del robot de generalizar ante nuevas situaciones.

3. Los algoritmos son comedores selectivos
Los investigadores probaron dos tipos diferentes de cerebros robóticos: una "Regresión Logística" (un pensador simple y de línea recta) y un "Bosque Aleatorio" (un pensador complejo de ramas de árboles).

Encontraron que el "mejor" robot depende enteramente de la situación. En una simulación limpia y simple, el Bosque Aleatorio fue mucho mejor. Pero en un conjunto de datos real de cáncer de mama, la Regresión Logística más simple fue mejor o igual de buena.
Esto significa que no puedes decir simplemente "El Algoritmo X es el mejor". Tienes que decir "El Algoritmo X es el mejor para este tipo específico de datos y para esta forma específica de dividirlo".

4. La "Auditoría" es quien dice la verdad
El artículo enfatiza la necesidad de un conjunto de "auditoría": un grupo de datos que el robot nunca ve hasta el final.

Encontraron que si usas los datos de prueba para ajustar tus parámetros (como cambiar el nivel de dificultad del robot), podrías obtener una puntuación alta que es falsa.
Al mantener un grupo de "auditoría" separado, pudieron ver que algunas políticas de división hacían que el robot pareciera excelente en la prueba, pero en realidad funcionaba mal en la auditoría. Esto ayuda a detectar la "fuga" (leakage), donde el robot aprende accidentalmente de los datos de prueba que no debería conocer.

El panorama general

El artículo de Ramachandra sugiere que debemos dejar de ver el aprendizaje automático como una calle de un solo sentido donde entran los datos y sale una puntuación. En su lugar, debemos verlo como una compleja red de interacciones donde cada pieza de datos influye en todas las demás.

La conclusión principal es que la forma en que entrenamos y probamos nuestra IA es una intervención causal. No es solo una herramienta de medición; es una parte activa del experimento que moldea el resultado. Al tratar el entrenamiento como un "tratamiento" y utilizar estos nuevos métodos experimentales, finalmente podemos responder preguntas como: "¿Esta imagen específica realmente está ayudando a la IA, o solo la está memorizando?" y "¿Es esta puntuación alta real, o simplemente tuvimos suerte con la forma en que dividimos los datos?".

El artículo no pretende haber resuelto todos los problemas de la IA. Admite que realizar estos experimentos es costoso y computacionalmente pesado. Sin embargo, proporciona un nuevo mapa y un nuevo conjunto de herramientas para navegar la realidad desordenada del aprendizaje automático, ayudándonos a distinguir entre un robot que realmente aprendió y uno que simplemente tuvo suerte.

Resumen Técnico: El entrenamiento como tratamiento: Un marco causal para la evaluación de Machine Learning

1. Planteamiento del problema

La evaluación convencional del aprendizaje automático trata la asignación de datos a los conjuntos de entrenamiento, validación y prueba como un paso procedimental en lugar de un objeto de análisis causal. Este artículo sostiene que la brecha estándar entre entrenamiento y prueba no es un estimando causal limpio, ya que conlata múltiples intervenciones distintas: el efecto de una observación sobre el ajuste del modelo, el efecto de la selección del modelo (vía validación) y el efecto de la composición de la medición (vía el conjunto de prueba).

Además, la evaluación estándar ignora la interferencia: debido a que un único modelo ajustado se comparte entre todos los objetivos, la inclusión o exclusión de una observación cambia las predicciones para todas las demás observaciones. Los métodos existentes como las funciones de influencia, Data Shapley y la estabilidad algorítmica abordan aspectos específicos de la sensibilidad o contribución de los datos, pero no logran integrar los roles de los datos, las políticas de división, la selección de modelos y la interferencia en un sistema de meta-evaluación causal unificado.

2. Metodología: El marco "El entrenamiento como tratamiento"

El artículo propone un marco de resultados potenciales donde las asignaciones de roles de datos y las elecciones del flujo de trabajo (pipeline) se modelan como intervenciones.

2.1 Configuración formal

Unidades: Observaciones candidatas ( $O_i$ ), grupos o conjuntos de datos.
Tratamientos:
- Roles de datos: A cada observación se le asigna uno de cinco roles: Ajuste ( $F$ ), Validación ( $V$ ), Evaluación ( $E$ ), Auditoría ( $A$ ) o No utilizado ( $U$ ).
- Intervenciones en el pipeline: Algoritmo ( $a$ ), hiperparámetros ( $h$ ), semilla aleatoria ( $s$ ), currículo ( $c$ ), pesos ( $w$ ) y orden de entrenamiento ( $o$ ).
Resultados (Outcomes): Predicciones potenciales, pérdidas a nivel de punto, métricas agregadas (ej. AUC, equidad/fairness), calibración y robustez en una población de auditoría fija y no tocada.

2.2 Conceptos causales clave

Interferencia: El modelo ajustado actúa como un mecanismo compartido. El resultado potencial para un objetivo $j$ depende del vector completo de asignación de entrenamiento, no solo de su propia asignación.
Evaluación limpia: Se establece una distinción crucial: asignar un punto a un conjunto de prueba "limpio" (que nunca fue consultado durante el ajuste o la selección) no cambia el modelo aprendido; solo cambia dónde se mide el desempeño.
Mapeo de exposición: Para manejar la complejidad de la interferencia no restringida (donde los resultados dependen de $2^n$ asignaciones), el marco utiliza mapeos de exposición de baja dimensión (basados en similitud, pertenencia a grupos o alineación de gradientes) para resumir las asignaciones de pares.

2.3 Estimandos causales

El marco define varios estimandos específicos:

Efecto de auto-inclusión: El cambio en la pérdida de una observación $i$ cuando se incluye en el entrenamiento frente a cuando se retiene (memorización vs. generalización).
Efecto de desbordamiento entre observaciones (Spillover): El efecto de incluir la observación $i$ en la pérdida de un objetivo diferente $j$ . Esto construye una "red de influencia de entrenamiento causal".
Efecto de generalización de auditoría: El efecto de incluir $i$ en el desempeño de una población de auditoría externa y fija.
Efectos de la política de división (Split-Policy): El impacto causal de diferentes estrategias de división de datos (ej. IID, temporal, agrupada/clustered) sobre el desempeño de la auditoría.
Efectos de interacción: Cómo el valor de un punto de datos depende del régimen específico de algoritmo o regularización utilizado.

2.4 Diseños experimentales

Para identificar estos efectos, el artículo propone:

Diseños de subconjuntos aleatorios: Asignar independientemente observaciones al ajuste con una probabilidad conocida mientras se mantiene intacto un conjunto de auditoría permanente.
Diseños de intercambio de pares de tamaño fijo: Reemplazar un punto de entrenamiento por otro manteniendo el resto del conjunto fijo para estimar efectos marginales.
Experimentos factoriales de pipeline: Cruzar asignaciones de roles de datos con algoritmos, semillas y políticas de aumentación para estimar interacciones.

3. Contribuciones clave

Formulación causal unificada: Separa el ajuste, la validación, la evaluación y la auditoría en distintas etapas causales, distinguiendo el efecto de aprender de una observación del efecto de medir su desempeño.
Modelado consciente de la interferencia: Modela explícitamente el modelo ajustado como una fuente de interferencia, permitiendo la estimación de efectos de desbordamiento y la construcción de grafos de influencia causal.
Nuevos estimandos: Introduce métricas para la auto-inclusión, el desbordamiento entre observaciones, la generalización de auditoría y los efectos de la política de división, yendo más allá de la simple estimación de error.
Herramientas de diagnóstico: Proporciona una base para la validación cruzada causal, diagnósticos de fuga de datos (detectar si un conjunto de prueba influyó inadvertidamente en el entrenamiento) y análisis de desbordamiento de equidad (fairness).
Estimadores: Desarrolla estimadores basados en diseño (diferencia de medias, Horvitz-Thompson), regresión factorial dispersa y estimadores de bajo rango/regularizados por grafos para redes de influencia.

4. Resultados empíricos

El artículo presenta resultados experimentales utilizando conjuntos de datos reales (Breast Cancer Wisconsin, Wine) y simulaciones controladas (limpias, con ruido de etiquetas, desbalanceadas con características espurias).

La política de división como intervención: Cambiar la política de división (ej. de IID estratificado a holdout por clusters o holdout de cola de características) causó cambios sistemáticos y grandes en el AUC reportado. En las simulaciones, el holdout por clusters redujo el AUC en aproximadamente 0.20 para la regresión logística, mientras que los splits de cola de características tuvieron impactos variables según el régimen de datos. Esto demuestra que el protocolo de evaluación es una intervención activa, no un dispositivo de medición neutral.
Heterogeneidad del algoritmo: La superioridad de un algoritmo (ej. Random Forest vs. Regresión Logística) fue altamente condicional a la política de división y al régimen de datos. Random Forest superó a la Regresión Logística en entornos no lineales y ruidosos, pero tuvo un desempeño inferior en el conjunto de datos real de Breast Cancer bajo el esquema de holdout por clusters.
Descomposición de la varianza: En las simulaciones con datos estructurados, la política de división representó la mayor fracción de la variación del AUC (hasta un 59%), superando a menudo la varianza explicada por la elección del modelo o las semillas aleatorias.
Interferencia a nivel de punto: En un experimento de inclusión de puntos en el conjunto de datos de Breast Cancer, eliminar puntos de entrenamiento individuales causó cambios medibles en la pérdida logarítmica en un conjunto de prueba fijo. Algunas eliminaciones aumentaron la pérdida (indicando inclusión útil) mientras que otras la disminuyeron (indicando inclusión perjudicial o redundante), confirmando empíricamente la interferencia.

5. Significancia y afirmaciones

El artículo afirma que "El entrenamiento como tratamiento" replantea el flujo de trabajo del aprendizaje automático como un experimento causal. Su principal significancia radica en:

Clarificar la brecha de generalización: Muestra que la brecha observada entre entrenamiento y prueba es una mezcla de efectos de auto-inclusión, composición de entrenamiento-prueba, exposición de pares y decisiones de selección de modelos, y por lo tanto, no puede interpretarse como una medida pura de sobreajuste (overfitting).
Distinguir la memorización de la transferencia: Al separar los efectos de auto-inclusión de los efectos de generalización de auditoría, el marco ayuda a identificar cuándo un modelo simplemente está memorizando datos frente a cuándo está aprendiendo patrones transferibles.
Evaluar la evaluación: Proporciona una base causal para diagnosticar si las mejoras de desempeño reportadas se deben a un mejor aprendizaje o simplemente a muestras de prueba "más fáciles" resultantes de políticas de división favorables o sesgos de selección.
Adquisición de datos consciente de la intervención: Ofrece una base teórica para adquirir datos basados en efectos de auditoría causales en lugar de puntuaciones heurísticas de calidad, reconociendo que el valor de los datos es relativo al aprendiz, la política de división y la población de auditoría.

El autor mantiene una postura modesta, señalando que el reentrenamiento exacto es costoso, el mapeo de interferencia es complejo y el marco requiere un diseño experimental cuidadoso (ej. conjuntos de auditoría bloqueados) para evitar confusiones. El marco propuesto sirve como una herramienta de diagnóstico y estimación más que como un reemplazo para todas las prácticas de evaluación existentes.