Using ChatGPT for Data Science Analyses

Este artículo evalúa el potencial de ChatGPT, específicamente su plugin de Análisis de Datos, como copiloto cuantitativo en flujos de trabajo de ciencia de datos, destacando sus capacidades para la exploración, visualización y modelado, al tiempo que advierte sobre sus limitaciones en el análisis empírico.

Lo esencial

¡Claro que sí! Imagina que la Ciencia de Datos es como cocinar una gran cena para una fiesta. Tradicionalmente, el chef (el científico de datos) tenía que ir al mercado, lavar las verduras, picarlas, medir los ingredientes y cocinar todo manualmente, siguiendo recetas complejas.

Este artículo es como una crítica de un nuevo asistente de cocina llamado "ChatGPT con su plugin de Análisis de Datos". Los autores, dos profesores de la Universidad de Edimburgo, decidieron poner a este asistente a prueba para ver si puede ayudar a los chefs a cocinar mejor, más rápido y sin quemar la comida.

Aquí tienes la historia de su experimento, explicada de forma sencilla:

1. El Asistente que "Habla" y "Cocina"

El plugin de ChatGPT es como un buen camarero que también sabe cocinar. Tú le dices: "Quiero ver qué ingredientes tenemos" (subes un archivo de datos) y él no solo te lo lee, sino que escribe el código de cocina (programa en Python) automáticamente para hacer los cálculos.

• Lo bueno: Es increíblemente rápido. Si le pides un resumen de los precios de las laptops o un gráfico de barras, lo hace en segundos. Es como tener un ayudante que nunca se cansa.
• Lo malo: A veces se confunde. En un momento, dibujó un gráfico de precios y dijo que estaba en una escala especial, pero en realidad no lo estaba. Es como si el camarero te dijera que la sopa está "muy caliente" cuando en realidad está tibia. Nunca debes confiar ciegamente en él; siempre necesitas un chef humano revisando el plato.

2. El Viaje por la "Bosque de Datos" (Análisis Exploratorio)

Los autores usaron dos tipos de "ingredientes":

1. Precios de laptops: Para ver cómo se comportan los datos.
2. Casas en un bosque (Duke Forest): Para intentar predecir precios.

El resultado en la visualización:
El asistente es muy bueno pintando cuadros (gráficos). Dibujó barras y cajas de colores para mostrar cuántas laptops hay de cada marca. Sin embargo, a veces los cuadros se ven un poco desordenados (etiquetas que se solapan, colores raros). Es como si un pintor talentoso hiciera un boceto rápido: se entiende la idea, pero necesita que tú le digas: "Oye, mueve esa etiqueta un poco a la izquierda".

3. Intentando Predecir el Futuro (Modelado Supervisado)

Aquí es donde el asistente intenta adivinar cosas. Les preguntaron: "¿Cuánto costará esta casa basándonos en su tamaño?".

• La línea recta (Regresión Lineal): El asistente propuso una receta simple: "Si la casa es más grande, cuesta más". Funcionó bien, pero a veces olvidó advertirte si la receta tenía un error grave (como predecir precios negativos, lo cual es imposible).
• Recetas complejas (Redes Neuronales): Intentaron usar una receta muy complicada (una red neuronal). Aquí el asistente se tropezó: le faltó un ingrediente clave (una librería llamada TensorFlow) en su cocina virtual. Aunque no pudo cocinar el plato final, fue muy útil y te dio la receta escrita en un papel para que tú la cocines en tu propia cocina.
• La receta mágica (Bayesiana): Intentaron una receta estadística muy avanzada. El asistente se mareó y dijo: "Esto me toma demasiado tiempo, me voy a interrumpir".

La lección: El asistente es genial sugiriendo qué receta usar, pero a veces elige la receta equivocada para los ingredientes que tienes, o no explica por qué la eligió. Necesitas un chef experto para decirle: "No, para este tipo de carne no usamos esa salsa".

4. Encontrar Grupos Ocultos (Análisis No Supervisado)

Luego, le pidieron que encontrara grupos de casas similares sin decirle cuáles eran. El asistente usó una técnica llamada "Método del Codo" (como doblar un brazo para ver dónde se dobla más fuerte) para decidir cuántos grupos de casas había.

• El resultado: Fue razonable, pero el gráfico no tenía un "codo" muy claro. El asistente admitió honestamente: "No estoy seguro, quizás necesites un poco de intuición humana aquí".

5. La Conclusión: ¿Un Chef o un Ayudante?

El mensaje final del artículo es muy claro:

ChatGPT no es un sustituto del chef; es un "Copiloto" o un "Ayudante de Cocina".

• Para novatos: Puede ser peligroso si no tienes cuidado. Podrías creer que el plato está perfecto cuando tiene sal de más.
• Para expertos: Es una herramienta fantástica para ahorrar tiempo en las tareas aburridas (como lavar las verduras o medir ingredientes), permitiéndote concentrarte en la creatividad y la estrategia.

La metáfora final:
Antes, la estadística era como usar una máquina de escribir: lenta y manual. Luego vino Excel (como una calculadora potente). Ahora, con ChatGPT, tenemos un asistente de cocina con IA. Es increíblemente rápido y sabe mucho, pero si le dejas solo en la cocina sin supervisión, podría servirse un pastel salado en lugar de dulce.

En resumen: Úsalo para explorar, para tener ideas y para acelerar el trabajo, pero nunca dejes que tome las decisiones finales sin que tú, el humano, revises el resultado. La inteligencia artificial es el motor, pero tú sigues siendo el conductor.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "USING CHATGPT FOR DATA SCIENCE ANALYSES" en español, estructurado según los puntos solicitados:

Título del Estudio: Evaluación del Plugin de Análisis de Datos de ChatGPT en Flujos de Trabajo de Ciencia de Datos

1. Problema

El campo de la Ciencia de Datos está experimentando una transformación irreversible debido a los avances en la Inteligencia Artificial Generativa (IAG), específicamente con el surgimiento de Modelos de Lenguaje Grande (LLM) como herramientas de "copiloto". Sin embargo, existe una brecha crítica en la comprensión de las capacidades reales y las limitaciones de estas herramientas en tareas analíticas empíricas.

• La incógnita: ¿Pueden los LLMs, específicamente el plugin de Análisis de Datos (DA) de OpenAI para ChatGPT, operar de manera fiable como asistentes en flujos de trabajo complejos de ciencia de datos (exploración, visualización, modelado supervisado y no supervisado)?
• El riesgo: A pesar de su potencial para automatizar tareas y democratizar el acceso al código (permitiendo a no programadores ejecutar análisis), estos modelos son propensos a alucinaciones, sesgos, errores de interpretación y falta de rigor estadístico. El problema central es determinar hasta qué punto pueden ser utilizados sin una supervisión humana crítica y cómo se comportan frente a problemas estadísticos reales.

2. Metodología

Los autores (Ozan Evkaya y Miguel de Carvalho) realizaron una evaluación empírica "hands-on" (práctica) del plugin de Análisis de Datos de ChatGPT.

• Enfoque: Actuaron como usuarios guiando la conversación con prompts simples y siguiendo las sugerencias del propio DA, simulando un flujo de trabajo real.
• Datos utilizados:
  1. Dataset de precios de laptops (Kaggle): Utilizado para análisis exploratorio de datos (EDA), visualización y correlaciones.
  2. Dataset duke_forest (paquete R openintro): Utilizado para tareas de modelado supervisado (regresión) y no supervisado (agrupamiento).
• Tareas evaluadas:
  • Carga y preprocesamiento de datos (CSV, XLSX, TXT vs. formatos propietarios como RDATA/SAV).
  • Visualización de datos (histogramas, diagramas de caja, mapas de calor, mosaicos).
  • Aprendizaje supervisado: Regresión lineal, modelos no lineales (Decision Trees, Random Forest, SVR, Redes Neuronales) y regresión Bayesiana.
  • Aprendizaje no supervisado: Clustering (K-means) y reducción de dimensionalidad.
• Métricas de evaluación: Se utilizó un sistema de calificación por estrellas (★) para evaluar la calidad de las respuestas, la precisión de los códigos generados, la interpretación de resultados y la capacidad de autocrítica del modelo.

3. Contribuciones Clave

El artículo aporta una de las primeras evaluaciones sistemáticas del plugin DA de OpenAI en un contexto estadístico riguroso:

• Mapa de capacidades y limitaciones: Documenta qué tareas el plugin ejecuta bien (EDA básico, generación de código Python) y dónde falla (interpretación de métricas, selección de modelos, diagnósticos estadísticos profundos).
• Análisis de la interacción Prompt-Respuesta: Ilustra cómo la calidad del análisis depende de la iteración y el tipo de prompt, demostrando que el "zero-shot" (una sola pregunta) a menudo es insuficiente para resultados precisos.
• Identificación de errores específicos: Detecta problemas recurrentes como:
  • Interpretación incorrecta de escalas en gráficos (ej. confundir escala logarítmica con lineal).
  • Desajuste entre los valores numéricos generados en los gráficos y la interpretación textual posterior.
  • Uso inapropiado de métricas (ej. uso de $R^2$ en modelos no lineales donde puede ser negativo o engañoso).
  • Falta de consideración de supuestos estadísticos críticos (normalidad, homocedasticidad) sin intervención humana.
• Marco de trabajo para el "Copiloto Humano": Propone que el DA debe verse como una herramienta de asistencia que requiere supervisión experta, no como un reemplazo total del analista.

4. Resultados

Los hallazgos son mixtos, destacando un alto potencial en la exploración pero deficiencias significativas en la inferencia y modelado avanzado:

• Exploración y Visualización:
  • Positivo: El plugin es excelente para generar código Python rápidamente, crear gráficos básicos (barras, histogramas) y calcular estadísticas descriptivas.
  • Negativo: Comete errores en la visualización (etiquetas superpuestas en diagramas de mosaico, escalas incorrectas en histogramas) y a veces interpreta mal sus propios gráficos (ej. afirmar que los precios están en escala logarítmica cuando no lo están).
• Modelado Supervisado (Regresión):
  • Lineal: El plugin sugiere correctamente modelos de regresión lineal múltiple y genera código funcional. Sin embargo, falla al advertir sobre predicciones de precios negativos (problema de linealidad en datos no acotados) y omite diagnósticos de residuos iniciales.
  • No Lineal y Avanzado: Sugiere modelos complejos (Random Forest, SVR, Redes Neuronales). Aunque identifica correctamente que el SVR tuvo un rendimiento pobre ($R^2$ negativo), su selección de modelos parece aleatoria y carece de justificación profunda basada en la estructura de los datos.
  • Limitaciones Técnicas: El plugin no pudo ejecutar modelos de Redes Neuronales debido a la falta de librerías (TensorFlow) en el entorno sandbox, aunque proporcionó código alternativo para entornos externos. La regresión Bayesiana falló por complejidad computacional.
• Modelado No Supervisado (Clustering):
  • El plugin aplicó correctamente K-means y el método del codo (Elbow Method) para determinar el número de clusters.
  • Interpretación: Reconoció honestamente cuando el gráfico del codo no era claro, sugiriendo que se requería conocimiento de dominio, lo cual fue un punto positivo.
• Fiabilidad General: Se observó que la repetición de prompts puede llevar a resultados inconsistentes. El modelo a menudo "alucina" detalles técnicos o no verifica sus propios cálculos numéricos contra la interpretación textual.

5. Significancia e Implicaciones

• Paradigma en la Educación y Práctica: El plugin DA tiene el potencial de democratizar la ciencia de datos, permitiendo a principiantes ejecutar análisis complejos. Sin embargo, el artículo advierte que su uso sin supervisión meticulosa podría perjudicar el proceso de aprendizaje de los novatos, ya que pueden aceptar conclusiones erróneas como verdades absolutas.
• Necesidad de Supervisión Humana: Se concluye que ninguna herramienta estadística impulsada por IA debe operar sin crítica y supervisión humana. El DA es un "copiloto" eficaz para la automatización asistida, pero no para la automatización total en tareas complejas.
• Futuro de la Automatización: El estudio sugiere que el futuro de la ciencia de datos automatizada no reside solo en LLMs, sino en la integración de marcos de trabajo multi-agente y sistemas híbridos (como AutoML) que combinen la capacidad de lenguaje de los LLMs con la precisión de sistemas estadísticos establecidos y la supervisión de expertos.
• Llamada a la Acción: Se destaca la necesidad urgente de desarrollar benchmarks estandarizados y métricas de rendimiento específicas para evaluar plugins de IA en estadística, ya que la literatura actual carece de evaluaciones sistemáticas sobre el plugin DA.

En resumen, el artículo valida el potencial del plugin de Análisis de Datos de ChatGPT como una herramienta poderosa para la exploración inicial y la generación de código, pero enfatiza severamente sus limitaciones en la inferencia estadística rigurosa, la selección de modelos y la interpretación crítica, abogando por un enfoque de "humano en el bucle" (human-in-the-loop) indispensable.