💻 computer science

What makes an Expert? Comparing Problem-solving Practices in Data Science Notebooks

Este estudio demuestra que la experiencia en ciencia de datos se distingue no por las fases del proceso que siguen los expertos, sino por su capacidad para emplear estrategias iterativas y secuencias de acciones eficientes en lugar de procesos lineales, ofreciendo así una base empírica para mejorar la educación en este campo.

Autores originales: Manuel Valle Torre, Marcus Specht, Catharine Oertel

Publicado 2026-02-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manuel Valle Torre, Marcus Specht, Catharine Oertel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🍳 El Gran Secreto de los Chefs de Datos: ¿Qué hace que un experto sea un experto?

Imagina que la Ciencia de Datos es como cocinar un plato complejo. Tienes ingredientes (datos), recetas (algoritmos) y utensilios (código). El estudio que leíste se preguntó: ¿Qué diferencia realmente a un chef novato de un chef maestro cuando están cocinando?

Para averiguarlo, los investigadores (Manuel, Marcus y Catharine) no miraron simplemente el plato final (si estaba rico o no). En su lugar, miraron cómo cocinaron. Analizaron 440 "cuadernos de cocina" (llamados Jupyter notebooks) donde los cocineros escribieron sus pasos.

Aquí está el resumen de lo que descubrieron, explicado con analogías:

1. La Gran Revelación: No es el "Mapa", es el "Estilo de Caminar"

Mucha gente cree que los expertos siguen un mapa secreto o un orden de pasos mágico que los novatos no conocen.

La Analogía: Imagina que todos tienen que ir desde la entrada de un supermercado hasta el pasillo de las leches.
- El Novato: Camina en línea recta, pasa por cada estante una sola vez, sin volver atrás. Sigue el mapa al pie de la letra.
- El Experto: También va del punto A al B, pero da vueltas, vuelve a revisar un estante, salta a otro y luego regresa.
Lo que dice el estudio: ¡Sorprendentemente! El mapa es el mismo para todos. Tanto novatos como expertos pasan por las mismas etapas generales: traer ingredientes, lavarlos, cocinarlos y servirlos. No hay un "camino secreto" de etapas que solo los expertos conozcan.

2. La Diferencia Real: La "Coreografía" de los Pasos

Si el mapa es el mismo, ¿dónde está la magia? Está en cómo se mueven dentro de ese mapa.

Los Novatos (El Caminante Rígido):
- Tienden a hacer un proceso largo y lineal. Es como si alguien que nunca ha cocinado hiciera: "Corto la cebolla -> la tiro a la sartén -> corto el tomate -> lo tiro a la sartén -> pruebo -> si no sabe, empiezo de cero desde el principio".
- Hacen muchas pruebas y errores sin parar, pero sin un plan claro de volver atrás.
- En el estudio: Sus cuadernos son más largos y siguen una línea recta aburrida.
Los Expertos (El Bailarín Ágil):
- Usan un proceso más corto y repetitivo (iterativo). Es como un chef que prueba la salsa, ajusta la sal, prueba de nuevo, ajusta el fuego, y vuelve a probar.
- No esperan a terminar todo el plato para ver si sabe bien. Hacen pequeños ciclos rápidos de "hacer, probar, corregir".
- En el estudio: Sus cuadernos son más cortos y muestran que saltan entre pasos de forma eficiente.

3. Los Detalles Ocultos: Los "Gestos" de la Cocina

El estudio miró los movimientos muy pequeños (nivel de código) para ver la diferencia:

El Novato: A veces hace cosas como "Cargar datos -> Mostrar tabla -> Cargar datos -> Mostrar tabla". Es como si el novato mirara el ingrediente, lo mirara otra vez, y luego lo mirara una tercera vez antes de cortarlo. Es un movimiento de exploración insegura.
El Experto: Hace cosas como "Elegir modelo -> Entrenar -> Evaluar -> Ajustar". Es como un chef que sabe exactamente qué especia necesita y la añade, prueba, y ajusta. Son movimientos precisos y con propósito.

4. ¿Por qué importa esto hoy en día? (El peligro de la IA)

Aquí viene la parte más importante para el futuro. Hoy tenemos Inteligencia Artificial (IA) que puede escribir el código por nosotros.

El Peligro: Si un estudiante usa la IA solo para que le diga "el siguiente paso", puede terminar siguiendo el camino del novato: lineal, sin pensar, y sin aprender a corregir sus propios errores. La IA podría hacer que el estudiante sea "perezoso mentalmente".
La Solución: Los profesores no deben enseñar solo a "seguir la receta". Deben enseñar a pensar como un chef experto: a ser flexible, a probar cosas, a fallar rápido y a volver atrás. La IA debe ser un ayudante de cocina, no el chef que decide todo.

En Resumen

Este estudio nos dice que ser un experto en datos no significa saber un orden de pasos secreto. Significa saber cómo moverse dentro de esos pasos.

Novato: Camina en línea recta, lento y sin volver atrás.
Experto: Baila, da vueltas, prueba, ajusta y avanza con eficiencia.

El objetivo de la educación ahora debe ser enseñar a los estudiantes a bailar (pensar de forma iterativa y flexible) en lugar de solo caminar en línea recta, especialmente ahora que tenemos herramientas de IA que podrían hacer que todos se conviertan en caminantes rígidos si no tenemos cuidado.

A continuación se presenta un resumen técnico detallado del artículo "What makes an Expert? Comparing Problem-solving Practices in Data Science Notebooks" (¿Qué hace a un experto? Comparando prácticas de resolución de problemas en cuadernos de ciencia de datos), escrito por Manuel Valle Torre, Marcus Specht y Catharine Oertel.

1. Planteamiento del Problema

La educación en ciencia de datos (DSE) enfrenta un desafío crítico: la falta de comprensión empírica sobre cómo difieren los procesos de resolución de problemas entre expertos y novatos.

Naturaleza tácita: Las habilidades procedimentales clave son a menudo tácitas (segunda naturaleza para los expertos, pero opacas para los novatos), lo que dificulta su enseñanza directa.
Impacto de la IA Generativa: La llegada de herramientas de IA genera un riesgo de "pereza metacognitiva", donde los estudiantes pueden delegar el pensamiento crítico y reforzar comportamientos lineales y superficiales típicos de los novatos, en lugar de desarrollar el pensamiento iterativo y flexible de un experto.
Brecha de investigación: La literatura existente se centra en la calidad del producto final (código estático, métricas) o en la documentación, ignorando la naturaleza dinámica y secuencial del proceso de trabajo. No se ha analizado suficientemente cómo se llega a la solución.

2. Metodología

El estudio emplea un enfoque de análisis de secuencias multinivel sobre un conjunto de datos real para hacer visibles los procesos de aprendizaje.

Conjunto de Datos:
- Se utilizaron 440 cuadernos Jupyter del dataset Code4ML (basado en Kaggle).
- Se seleccionó la competencia "Quora Insincere Questions Classification" (clasificación de texto) para minimizar la variabilidad de los tipos de datos.
- Clasificación de usuarios:
  - Novatos: Niveles "Novice" y "Contributor" (n=339).
  - Expertos: Niveles "Expert", "Master" y "Grandmaster" (n=101).
- Se eliminaron los extremos (top y bottom 5%) por longitud para reducir valores atípicos.
Marco Teórico y Mapeo:
- Se adoptó el marco de Valle Torre et al. (2024) y el modelo de cinco etapas de resolución de problemas de Wang et al. (2023): Definición del problema, Recolección de datos, Registro de datos, Interpretación de datos y Reflexión.
- Se mapearon las 11 fases técnicas de ciencia de datos (ej. EDA, Entrenamiento de modelos) de Code4ML a estas 5 prácticas cognitivas de alto nivel (ver Tabla 1 del artículo).
Técnicas de Análisis (Niveles de Granularidad):
1. Estructura del Proceso General: Se utilizó Agrupamiento Jerárquico Aglomerativo (AHC) con Optimal Matching (OM) y el método de Ward para identificar patrones macro en la secuencia completa de prácticas de resolución de problemas.
2. Transiciones a Nivel de Fase: Se aplicó Minería de Procesos (PM) y Modelos de Markov (MM) para modelar las transiciones probabilísticas entre las 11 fases técnicas específicas.
3. Patrones de Acción Fina (Within-Phase): Se utilizó Minería de Patrones Secuenciales (SPM) con el algoritmo PrefixSpan para descubrir secuencias recurrentes de acciones de bajo nivel dentro de cada etapa (ej. secuencias específicas de ingeniería de características o ajuste de hiperparámetros).
Validación: Se empleó la prueba de chi-cuadrado de independencia para determinar si la pertenencia a los clusters o patrones encontrados estaba significativamente asociada con el nivel de experiencia.

3. Contribuciones Clave

Marco Multinivel: Propone una metodología robusta para analizar el aprendizaje en ciencia de datos desde tres resoluciones (macro-estructura, transiciones de fase y micro-acciones), superando las limitaciones de los análisis estáticos.
Visualización de lo Tácito: Logra traducir acciones de código técnicas en prácticas cognitivas de resolución de problemas, haciendo visible la estrategia subyacente del autor.
Evidencia Empírica sobre la Expertise: Proporciona datos cuantitativos que demuestran que la diferencia entre novatos y expertos no radica en qué fases siguen, sino en cómo estructuran y ejecutan esas fases.

4. Resultados Principales

A. Estructura del Proceso General (Nivel Macro)

Hallazgo: Existe una diferencia significativa en la estructura global del flujo de trabajo.
Novatos: Tienden a seguir procesos largo y lineales, adheriéndose estrictamente a un flujo canónico paso a paso (Cluster 1).
Expertos: Emplean procesos más cortos e iterativos. Muestran picos secundarios de "Recolección de Datos" más tarde en el proceso y una mayor frecuencia de "Reflexión" temprana (Cluster 2 y 3).
Estadística: Asociación significativa entre el cluster y la experiencia ( $\chi^2 = 11.85, p = 0.0027$ ).

B. Transiciones a Nivel de Fase (Nivel Medio)

Hallazgo: Sorprendentemente, no hay diferencias significativas en la secuencia de fases de alto nivel.
Tanto novatos como expertos siguen un orden de operaciones similar (Importación -> EDA -> Entrenamiento -> Evaluación).
Los modelos de Markov y la minería de procesos mostraron probabilidades de transición casi idénticas entre grupos. La diferencia no está en el "qué" sigue al "qué" a gran escala, sino en la ejecución interna.

C. Patrones de Acción Fina (Nivel Micro)

Hallazgo: Las diferencias radican en las secuencias de acciones específicas dentro de las fases.
Patrones de Novatos:
- Definición: [cargar csv, mostrar tabla] (exploración superficial).
- Recolección: [ingeniería de características, ingeniería de características] (iteración repetitiva sin reflexión).
- Registro: [distribución, distribución] (visualización redundante).
Patrones de Expertos:
- Definición: [importar módulos, importar módulos] (reutilización y estructura).
- Recolección: [clase de modelo, ajustar/fit] y [clase de modelo, compilar] (acciones orientadas a la modelización eficiente).
- Reflexión: [guardar csv, guardar csv] (síntesis y evaluación final).
Interpretación: Los expertos ejecutan ciclos de retroalimentación más rápidos y eficientes mediante acciones técnicas específicas, mientras que los novatos se estancan en bucles de exploración lineal.

5. Significado e Implicaciones

Diseño Curricular: La enseñanza debe centrarse en modelar la iteración y la flexibilidad, no solo en el flujo de trabajo lineal (CRISP-DM). Es crucial enseñar a los estudiantes a "volver atrás" y refinar, en lugar de avanzar ciegamente.
Prácticas de Enseñanza: Los instructores deben proporcionar retroalimentación basada en el proceso (ej. "¿Por qué estás repitiendo ingeniería de características sin evaluar el modelo?") y usar ejemplos de trabajo que muestren explícitamente el pensamiento iterativo.
IA Generativa: Existe un riesgo de que la IA refuerce el comportamiento lineal de los novatos si se usa solo para obtener el "siguiente paso". La educación debe enseñar a usar la IA como un socio para la reflexión y el refinamiento, no como un reemplazo del pensamiento estratégico.
Sistemas de Soporte Inteligente: Los patrones identificados pueden alimentar sistemas de tutoría automática que detecten comportamientos novatos (ej. bucles de ingeniería de características repetitivos) y ofrezcan andamiaje para fomentar la iteración experta.
Evaluación: Se propone cambiar la evaluación del producto final a la evaluación del proceso, utilizando la estructura de la secuencia de acciones como métrica de madurez en la resolución de problemas.

En conclusión, el estudio demuestra que la expertise en ciencia de datos no se define por seguir una secuencia de pasos única, sino por la manera flexible, iterativa y eficiente en que se ejecutan esos pasos.