Spreadsheet Modeling Experiments Using GPTs on Small Problem Statements and the Wall Task

A continuación se presenta un resumen técnico detallado del artículo "Experimentos de modelado en hojas de cálculo utilizando GPTs en enunciados de problemas pequeños y la tarea de la pared".

1. Enunciado del Problema

El artículo aborda la capacidad emergente de los Transformadores Preentrenados Generativos (GPTs) para automatizar la creación de modelos analíticos de hojas de cálculo de calidad industrial. Si bien los GPTs son ampliamente elogiados por su capacidad para asistir en el análisis de datos y la generación de fórmulas, su fiabilidad para producir modelos de hojas de cálculo reutilizables y libres de errores sigue sin estar demostrada.

Los autores definen el objetivo como la creación de modelos que cumplan seis criterios de "calidad industrial": eficiencia, legibilidad, transferibilidad, precisión, reutilizabilidad y modificabilidad. Para hacer esto manejable para la experimentación, los autores estrecharon el enfoque a la reutilizabilidad, definida por cinco Requisitos Esenciales para la Reutilizabilidad (ERFR):

1. Aislamiento de la Entrada: Cada valor de entrada reside en una sola celda.
2. Uso de Fórmulas: Todos los cálculos utilizan fórmulas de celda (sin números codificados en celdas de cálculo).
3. Sin Enchufado Directo: Sin números enchufados directamente dentro de las fórmulas.
4. Etiquetado: Etiquetas apropiadas para entradas y fórmulas.
5. Precisión: Los cálculos deben ser matemáticamente correctos.

El problema central es determinar si las herramientas GPT actuales pueden generar de manera confiable hojas de cálculo que cumplan con estos criterios a partir de enunciados de problemas en lenguaje natural y, si no es así, cuáles son las barreras (reproducibilidad, confianza, flujo de trabajo).

2. Metodología

La investigación siguió un enfoque experimental estructurado que involucró filtrado, selección y pruebas detalladas.

A. Selección de Herramientas (Fase de Filtrado)

• Grupo Inicial: Se seleccionaron cinco extensiones de GPT que afirmaban tener capacidades de modelado en hojas de cálculo, basándose en un alto volumen de uso (>100k conversaciones), popularidad (>1,000 reseñas, calificación >3.3), funcionalidad de Interpretador de Código y capacidad para generar archivos XLSX.
• Criterios de Evaluación: Las herramientas se juzgaron por la Calidad de la Conversación, Interacción del Usuario, Manejo de Errores, Fiabilidad de Archivos y Diseño de Hojas de Cálculo.
• Selección: Excel AI (EAI) de pulsrai.com fue seleccionado como el mejor rendimiento. Generó consistentemente archivos de Excel bien estructurados y descargables con fórmulas válidas, mientras que otros produjeron archivos rotos o salidas no funcionales.
• Configuración: Los autores notaron que EAI funciona mejor cuando se combina con ChatGPT-4o (en lugar del recomendado o4-mini), ya que este último tiende a generar imágenes en lugar de archivos.

B. Estrategia de Ingeniería de Prompts
Los autores distinguieron entre el Enunciado del Problema (la lógica/qué calcular) y las Instrucciones (el formato de salida deseado).

• Establecieron un conjunto parsimonioso de tres instrucciones para asegurar el cumplimiento de los ERFR:
  1. "Crea un modelo de Excel."
  2. "Usa fórmulas de celda."
  3. "Proporciona un archivo de Excel descargable."

C. Diseño Experimental

• Experimentos a Pequeña Escala: Se utilizaron ocho enunciados de problemas distintos para probar tres variables específicas:
  1. Datos vs. Parámetros: ¿Maneja el modelo números específicos (Datos) o nombres de variables sin valores (Parámetros) de manera diferente?
  2. Tiempo Explícito vs. Implícito: ¿Cómo maneja el modelo "30 días consecutivos" frente a "un mes" (que implica 30 días en análisis pero es ambiguo)?
  3. Sustantivos Conocidos vs. Inventados: ¿Tiene dificultades el modelo con terminología inventada (por ejemplo, "zorp" en lugar de "manzana")?
• Experimento a Gran Escala: La "Tarea de la Pared" (un enunciado de problema académico estándar sobre los costos de construcción de muros) se utilizó para probar el rendimiento en un problema de párrafo de longitud, con múltiples variables.

3. Contribuciones Clave

• Definición de ERFR: El artículo formaliza los "Requisitos Esenciales para la Reutilizabilidad" como una métrica estándar para evaluar hojas de cálculo generadas por IA.
• Marco de Estructura de Prompts: Propone una separación entre "Enunciado del Problema" e "Instrucciones" para optimizar la salida de GPT para la generación de hojas de cálculo.
• Identificación de Barreras Críticas: Los autores identifican dos desafíos fundamentales que obstaculizan la adopción profesional:
  • El Problema de la Confianza: Cómo verificar la precisión de un modelo generado por IA cuando no existen casos de prueba.
  • El Problema del Flujo de Trabajo: Cómo integrar borradores imperfectos de IA en un proceso de desarrollo centrado en el humano (por ejemplo, ¿es más rápido corregir el borrador de IA o empezar de cero?).
• Evidencia Empírica de Inestabilidad: El estudio proporciona evidencia concreta de que las herramientas GPT actuales son "temperamentales", produciendo resultados no reproducibles incluso con prompts idénticos.

4. Resultados

A. Experimentos a Pequeña Escala (8 Prompts)

• Éxitos: EAI funcionó bien en 7 de los 8 prompts. Manejó con éxito parámetros (celdas en blanco listas para entrada), sustantivos inventados y la fraseología explícita de "30 días".
• Fracasos:
  • Fallo por Ambigüedad: Cuando se le pidió "por un mes" (Enunciado del Problema 6), el modelo generó una hoja de cálculo con números codificados en la columna de cálculo en lugar de fórmulas. Aunque los números eran precisos, el modelo no cumplió con los criterios ERFR de reutilizabilidad.
  • Fallo de Reproducibilidad: Ejecutar el mismo prompt (Enunciado del Problema 6) múltiples veces produjo diferentes estructuras de hoja de cálculo, algunas con fórmulas "basura" y otras con lógica correcta, lo que indica una falta de consistencia.
  • Sensibilidad al Contexto: El modelo a veces generaba una tabla estática de números en lugar de una calculadora dinámica, incluso cuando se le instruyó "usar fórmulas de celda".

B. Experimento a Gran Escala (La Tarea de la Pared)

• Rendimiento Inconsistente:
  • Con instrucciones estándar, el modelo inicialmente produjo una tabla correcta de números pero sin fórmulas de celda.
  • Un prompt de seguimiento para "hacerlo dinámico" generó con éxito un modelo de alta calidad, modular y conforme a los ERFR.
  • Sin embargo, ejecutar la Tarea de la Pared sin instrucciones específicas resultó en un archivo que se corrompía al abrirse, requiriendo la función "Recuperar" de Excel, y contenía una mezcla de fórmulas precisas, imprecisas y faltantes.
• Observación: El rendimiento de la herramienta es altamente volátil; se puede generar un modelo "perfecto" en una ejecución, mientras que en otra se genera un modelo roto o no reutilizable.

5. Significado y Conclusión

Estado Actual de la Tecnología
Los autores concluyen que, aunque los GPTs muestran promesa para generar borradores que podrían reducir el tiempo de desarrollo o disminuir las barreras de habilidad, aún no están listos para uso profesional. Las herramientas son actualmente poco fiables para producir modelos de "calidad industrial" sin una intervención humana significativa.

Implicaciones para los Usuarios

• Requisito de Habilidad: Los usuarios deben poseer habilidades suficientes de modelado en hojas de cálculo para verificar fórmulas y lógica. Los GPTs no pueden reemplazar actualmente a los modeladores novatos porque el usuario debe ser capaz de detectar y corregir los errores de la IA.
• Integración del Flujo de Trabajo: El valor de los GPTs radica en el enfoque de "borrador preliminar". Si el tiempo ahorrado al generar un borrador (incluso uno imperfecto) más el tiempo para corregirlo es menor que construir desde cero, agrega valor. Sin embargo, esto requiere un nuevo flujo de trabajo donde el humano actúa como auditor e ingeniero de refactorización.

Futuras Direcciones de Investigación

• Ingeniería de Prompts: Desarrollar conjuntos de instrucciones más robustos para manejar la ambigüedad y asegurar la reproducibilidad.
• Reproducibilidad: Investigar por qué los prompts idénticos producen resultados diferentes (por ejemplo, versionado del modelo, hora del día, estado del sistema).
• Escala: Probar en enunciados de problemas comerciales reales más grandes en lugar de simples "tareas de inicio".
• Verificación: Desarrollar métodos automatizados para verificar la precisión de los modelos generados por IA sin casos de prueba preexistentes.

En resumen, el artículo sirve como una comprobación de la realidad sobre el estado actual de la IA en el análisis de hojas de cálculo, destacando que, aunque la tecnología es capaz de generar estructura, carece de la consistencia y fiabilidad requeridas para una aplicación profesional autónoma.