A Grammar of Machine Learning Workflows

Este artículo propone una solución estructural a los fallos de filtrado de datos en el aprendizaje automático mediante una gramática basada en un grafo acíclico dirigido con siete primitivas y cuatro restricciones estrictas que, al imponer una frontera de evaluación en tiempo de ejecución, previenen la selección y la memorización de datos de prueba, validando su eficacia mediante múltiples implementaciones y estudios cuantitativos.

Lo esencial

Imagina que el aprendizaje automático (Machine Learning) es como preparar un examen final para un estudiante.

El problema que este artículo, escrito por Simon Roth, intenta resolver es un error muy común: el "trampas" o el "copiar en el examen".

En el mundo de la ciencia de datos, muchos investigadores cometen errores sin darse cuenta. A veces, el modelo de computadora "mira" las respuestas del examen antes de estudiar, o usa el mismo examen para estudiar y para ser calificado. Esto hace que parezca que el modelo es un genio, pero en la vida real (cuando se enfrenta a datos nuevos) falla estrepitosamente.

El autor dice que hasta ahora hemos intentado solucionar esto con listas de verificación y reglas escritas (como decirle al estudiante: "¡No mires las respuestas!"). Pero la gente sigue copiando porque las reglas escritas no detienen físicamente el acto de copiar.

La Solución: Una "Gramática" Estricta

Roth propone algo diferente: en lugar de dar reglas, vamos a construir un sistema que haga imposible copiar. Lo llama una "Gramática de Flujos de Trabajo".

Piensa en esto como un túnel de seguridad estricto en un aeropuerto, o como un videojuego con niveles bloqueados:

1. La División (El Split):
   Imagina que tienes una pila de cartas. Antes de empezar, el sistema las divide en tres montones invisibles y sellados:

   • Montón de Estudio (Train): Para que el modelo aprenda.
   • Montón de Práctica (Valid): Para que el modelo practique y se corrija.
   • Montón del Examen Final (Test): Este montón está sellado con candado. Nadie puede verlo hasta el final.

2. Los 7 Verbos (Las Herramientas):
   El sistema solo te deja usar 7 herramientas específicas. No puedes usar herramientas de fuera.

   • Dividir: Crea los montones.
   • Preparar: Limpia los datos (pero solo dentro del montón de estudio).
   • Ajustar (Fit): Entrena al modelo.
   • Predecir: Hace suposiciones.
   • Evaluar: Mira el Montón de Práctica. Puedes hacerlo tantas veces como quieras. Es como hacer simulacros de examen.
   • Explicar: Dice por qué el modelo piensa lo que piensa.
   • Evaluar Final (Assess): Esta es la herramienta mágica. Solo puedes usarla UNA VEZ y solo con el Montón del Examen Final.

3. La Trampa Imposible de Saltar:
   Aquí está la genialidad del sistema:

   • Si intentas usar el Montón del Examen Final para entrenar o practicar, el sistema te dice: "Error. No tienes permiso. Ese montón está sellado".
   • Si intentas usar la herramienta de Evaluación Final dos veces, el sistema te dice: "Error. Ya usaste tu única oportunidad. El examen ya se cerró".

El sistema no te deja "copiar" porque técnicamente no puedes acceder a las respuestas hasta que es demasiado tarde para cambiar tu respuesta.

¿Por qué es importante?

El autor hizo experimentos con miles de casos y descubrió que:

• Si copias un poco (miras las respuestas antes de tiempo), la puntuación del modelo se infla falsamente. Parece mejor de lo que es.
• Si copias mucho (memorizas las respuestas), la puntuación se infla enormemente.
• Con este nuevo sistema, es imposible inflar la puntuación falsamente porque el sistema te bloquea físicamente si intentas hacerlo.

Analogía Final: El Chef y la Muestra Ciega

Imagina un concurso de cocina:

• El método viejo: El chef prueba la salsa mientras la cocina. Si le sabe mal, le añade sal. Luego, el juez prueba la salsa. Pero el chef ya probó la salsa muchas veces, así que sabe exactamente qué le falta. El juez no está viendo un resultado real, está viendo un resultado "ajustado".
• El método de la Gramática (Roth):
  1. El chef cocina la salsa en una cocina cerrada (Montón de Estudio).
  2. Puede probarla y corregirla tantas veces quiera en su propia cocina (Montón de Práctica).
  3. Una vez que decide que está lista, la sella en una caja de seguridad.
  4. Solo una vez, el juez abre la caja y la prueba (Montón del Examen Final).
  5. Si el chef intenta abrir la caja del juez para probarla antes, la caja es de acero y no se abre. Si intenta abrir la caja del juez dos veces para ver si le gustó más la segunda vez, el sistema de seguridad se activa y le quita el diploma.

En resumen

Este papel no es solo una teoría aburrida. Es un manual de instrucciones para construir software que hace que sea imposible cometer los errores más graves en la ciencia de datos.

• Antes: "Por favor, no mires las respuestas". (La gente lo hace).
• Ahora: "El sistema no te deja mirar las respuestas". (La gente no puede hacerlo).

Es como pasar de decirle a un niño "no toques el horno" a ponerle un protector de seguridad que impide que su mano llegue al calor. La seguridad deja de depender de la memoria del usuario y pasa a depender de la estructura del sistema.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "A Grammar of Machine Learning Workflows" (Una Gramática de los Flujos de Trabajo de Aprendizaje Automático) de Simon Roth (2026).

1. El Problema: La Persistencia de la Fuga de Datos (Data Leakage)

El artículo aborda un problema crítico y persistente en la investigación científica: la fuga de datos (data leakage).

• Evidencia empírica: Un estudio de Kapoor y Narayanan (2023) encontró errores de fuga en 294 artículos publicados en 17 campos científicos. En neuroimagen, afecta al 17.5% de los estudios.
• Fallo de las soluciones actuales: La respuesta dominante ha sido la documentación (listas de verificación, guías de mejores prácticas y herramientas de linting). Sin embargo, el autor argumenta que la documentación no previene estos fallos; solo los detecta a posteriori.
• Consecuencias: Estas fugas inflan artificialmente el rendimiento de los modelos, llevando a conclusiones meta-analíticas erróneas y a la publicación de resultados no reproducibles. Se identifican tres clases principales de fuga con tamaños de efecto cuantificados:
  • Clase I (Estimación): Preprocesamiento global antes del división (efecto pequeño, $|d| < 0.1$).
  • Clase II (Selección): "Mirar" las etiquetas del conjunto de prueba o seleccionar modelos basándose en ellos (efecto grande, $d_z = 0.93$).
  • Clase III (Memorización): Entrenar o evaluar con datos que ya han sido vistos (efecto grande, $d_z = 0.53–1.11$).

2. Metodología: Una Gramática Estructural

En lugar de depender de la detección posterior, el autor propone una solución estructural: una gramática formal que descompone el ciclo de vida del aprendizaje supervisado en primitivas de núcleo conectadas por un Grafo Acíclico Dirigido (DAG) tipado.

Componentes Clave de la Gramática:

1. 7 Primitivas de Núcleo (Kernel Primitives):

   • split: Divide los datos en particiones (train, valid, test).
   • prepare: Prepara los datos (normalización, codificación) dentro del bucle de validación cruzada.
   • fit: Entrena el modelo.
   • predict: Aplica el modelo a nuevos datos.
   • evaluate: Mide el rendimiento en datos de validación (repetible).
   • explain: Genera explicaciones (importancia de características).
   • assess: Mide el rendimiento en el conjunto de prueba (terminal, una sola vez).

2. El DAG Tipado y Restricciones:

   • Los datos fluyen a través de tipos estrictos (DataFrame $\to$ Partition $\to$ PreparedData $\to$ Model $\to$ Evidence).
   • 4 Restricciones Duras (Hard Constraints): El sistema rechaza automáticamente composiciones inválidas en tiempo de llamada (call-time):
     1. Evaluar una sola vez: El conjunto de prueba solo puede usarse una vez por modelo.
     2. Preparar después de dividir: El preprocesamiento debe ocurrir por pliegue (fold), no globalmente.
     3. Transiciones seguras por tipo: No se puede ajustar un modelo con datos de prueba o sin modelo previo.
     4. Sin acceso a etiquetas antes de dividir: La selección de características no puede usar las etiquetas del conjunto de prueba.

3. Mecanismos de Rechazo:

   • Rechazo Estructural (Estático): Incompatibilidad de tipos (ej. pasar un Partition a una función que espera un Model).
   • Rechazo por Guardia (Dinámico): Verificación de estado en tiempo de ejecución (ej. model.assessed = false). Si se intenta llamar a assess una segunda vez, el sistema lanza un error antes de ejecutar la función.

3. Contribuciones Clave

• La Restricción Terminal assess: Es la contribución central. Establece una frontera estricta entre evaluate (datos de validación, repetible) y assess (datos de prueba, irreversible). Esto convierte el error de reutilización del conjunto de prueba en un fallo de compilación/ejecución, no en un error lógico que el usuario deba recordar.
• Implementación Multi-lenguaje: La gramática se ha implementado independientemente en Python, R y Julia. Todas comparten la misma firma de tipos y las 4 restricciones, validando que la especificación es lo suficientemente precisa para ser reimplantada sin traducir código fuente.
• Pruebas Falsables: La gramática generó predicciones específicas antes de observar los resultados experimentales:
  • Predicción 1 (Inflación por selección): Confirmada ($d = +0.27$).
  • Predicción 2 (Fuga por apilamiento/stacking): Falsificada ($d = -0.22$), demostrando que la arquitectura de "out-of-fold" es segura.
  • Predicción 3 (Inflación por semillas/seed cherry-picking): Confirmada ($d = +0.88$).

4. Resultados Empíricos

El autor presenta un estudio complementario con 2,047 instancias experimentales y un análisis de escala de muestra con 3,759 instancias adicionales:

• Magnitud de la Fuga: La fuga de selección (Clase II) infla el AUC en +0.046 puntos ($d_z = 0.93$). La fuga de memorización (Clase III) varía entre 0.02 y 0.09 puntos.
• Persistencia: Un ajuste de ley de potencia muestra que los efectos de la Clase II tienen un suelo asintótico positivo ($d_\infty = 0.047$), lo que significa que incluso con grandes tamaños de muestra ($N=2000$), la fuga no desaparece, haciendo necesaria la rechazo incondicional de la gramática.
• Calibración: Se encontró que los intervalos de confianza nominales del 95% en la validación cruzada solo logran una cobertura real del 55-70%, destacando la necesidad de advertencias de incertidumbre.

5. Significado e Impacto

• Cambio de Paradigma: La gramática desplaza la carga de la corrección de la "memoria del usuario" (documentación) a la "memoria del sistema" (tipos y guardias). Si el código se ejecuta, es estructuralmente correcto contra las fugas de datos más dañinas.
• Seguridad Estructural vs. Semántica: La gramática previene errores estructurales (fugas), pero no errores semánticos (elegir el algoritmo incorrecto o métricas inadecuadas). Esto se alinea con la distinción de Chomsky entre sintaxis y semántica.
• Validación Científica: Al hacer que los flujos de trabajo inválidos sean imposibles de ejecutar, la gramática ofrece un estándar de conformance (prueba de Codd) para la metodología de ML.
• Limitaciones: No cubre aprendizaje en línea, aprendizaje no supervisado o deep learning (donde la estructura de tipos difiere), y asume un conjunto de datos completo disponible en el momento de la división. Además, no previene la "fuga de optimización" (seleccionar un modelo tras muchas iteraciones en validación), aunque permite la validación cruzada anidada como patrón válido.

En conclusión, "A Grammar of Machine Learning Workflows" propone una arquitectura de software que enforza metodológicamente la integridad de los experimentos de aprendizaje automático, transformando las mejores prácticas de sugerencias opcionales en reglas de ejecución obligatorias.