SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

El artículo presenta SpreadsheetArena, una plataforma de evaluación mediante comparaciones ciegas que revela que, aunque los modelos de lenguaje avanzados generan hojas de cálculo, a menudo no se alinean consistentemente con las mejores prácticas específicas de dominios como las finanzas debido a la variabilidad de criterios de preferencia.

Lo esencial

¡Hola! Imagina que las hojas de cálculo (como Excel) son como recetas de cocina. Todos sabemos que una receta necesita ingredientes (datos), pasos (fórmulas) y un resultado final (el plato).

Hasta hace poco, las Inteligencias Artificiales (IA) eran muy buenas escribiendo recetas en texto, pero les costaba mucho crear el plato real en la cocina. A veces ponían los ingredientes en el orden incorrecto, olvidaban sal, o usaban un cuchillo en lugar de una batidora.

Este paper, titulado "SPREADSHEETARENA", es como un gran concurso de cocina donde ponemos a 16 chefs de IA (modelos como GPT-5, Claude, Gemini, etc.) a competir para ver quién hace la mejor hoja de cálculo basada en una petición simple de un usuario.

Aquí te explico los puntos clave con analogías sencillas:

1. El Estadio de la Competencia (SPREADSHEETARENA)

Imagina un estadio deportivo donde, en lugar de fútbol, juegan hojas de cálculo.

• Cómo funciona: Un usuario pide algo, por ejemplo: "Hazme un presupuesto para una boda con 200 invitados".
• La batalla: La plataforma genera dos hojas de cálculo diferentes creadas por dos IAs distintas.
• El público: Tú (o un experto) ves ambas hojas "a ciegas" (sin saber quién las hizo) y votas: "¿Cuál se ve mejor? ¿Cuál es más útil?".
• El resultado: Con miles de votos, creamos una tabla de clasificación (ranking) para ver qué IA es la mejor cocinera de hojas de cálculo.

2. No es solo "que funcione", es "que se vea bien"

El descubrimiento más interesante es que la gente no solo vota por si la matemática es correcta.

• La analogía: Imagina dos pasteles. Uno sabe delicioso pero está quemado y desordenado. El otro sabe un poco menos rico pero está decorado con flores y tiene una etiqueta bonita.
• Lo que pasó: En las votaciones, la gente a menudo elegía el pastel "bonito" (con buen formato, colores, bordes) sobre el que era "perfecto" matemáticamente pero feo.
• El problema: Las IAs aprendieron que si ponen mucho color y texto, ganan votos, aunque sus fórmulas tengan errores ocultos. Es como si un estudiante sacara una nota alta solo por tener la letra muy bonita, aunque el examen esté mal resuelto.

3. El "Efecto Espejo" (Ajustando las puntuaciones)

Los investigadores se dieron cuenta de que el ranking estaba "manipulado" por el estilo.

• La analogía: Es como si en una carrera de coches, a los que llevaban pintura brillante se les diera ventaja en los puntos.
• La solución: Los científicos crearon un "filtro mágico". Restaron los puntos que se ganaban solo por tener colores bonitos o muchas celdas llenas.
• El resultado: ¡El ranking cambió! Algunos modelos que parecían líderes (como Claude) bajaron un poco, y otros que parecían menos brillantes (como Gemini) subieron. Esto nos dice que algunas IAs son mejores "arquitectas" (hacen la estructura correcta) aunque no sean las mejores "decoradoras".

4. El Juicio de los Expertos (La realidad de las finanzas)

Aquí viene la parte más seria. Los investigadores tomaron las hojas de cálculo ganadoras del concurso y se las mostraron a expertos financieros reales (bancarios, contadores).

• La analogía: Imagina que el público del concurso elige un pastel que parece perfecto, pero luego un chef profesional lo prueba y dice: "Oye, esto tiene harina cruda y no se puede comer".
• El hallazgo: Los expertos dijeron que ninguna IA estaba lista para el trabajo profesional real.
  • Las IAs a menudo usaban colores incorrectos (en finanzas, el azul es para datos, el negro para fórmulas; las IAs se confundían).
  • A veces ponían números "mágicos" dentro de las fórmulas (algo prohibido en finanzas profesionales).
  • Aunque el público las amaba, los expertos las calificaron como "peligrosas" para usarlas en un banco de verdad.

5. Conclusión: ¿Qué nos enseña esto?

Este paper nos dice tres cosas importantes:

1. Las IAs son buenas imitadoras: Pueden hacer hojas de cálculo que parecen profesionales y ganan votos.
2. Pero no son expertas aún: Si necesitas una hoja de cálculo para tomar decisiones de dinero real, no te fíes ciegamente de la IA. Necesitas un humano revisando que no haya errores ocultos.
3. El futuro: Para mejorar, no basta con decirle a la IA "gana más votos". Hay que enseñarle a seguir las reglas estrictas de cada profesión (como las de un médico o un ingeniero), no solo a ser "bonita".

En resumen: SPREADSHEETARENA es el primer gran estadio donde vemos que las IAs pueden cocinar recetas de hojas de cálculo, pero aún necesitan a un chef humano para asegurarse de que el plato no tenga ingredientes podridos antes de servirlo a un cliente importante.

Resumen técnico

Resumen Técnico: SPREADSHEETARENA

1. El Problema

La generación de hojas de cálculo (spreadsheets) por parte de Modelos de Lenguaje Grande (LLM) representa un desafío único en la automatización de artefactos estructurados. A diferencia de la generación de código o texto, las hojas de cálculo presentan:

• Complejidad Estructural: Encapsulan dependencias gráficas densas entre celdas y fórmulas.
• Multidimensionalidad: La calidad no depende solo de la corrección numérica, sino también del diseño, la legibilidad, la interactividad y las convenciones específicas del dominio (ej. finanzas).
• Evaluación Difícil: Muchas tareas son abiertas y admiten múltiples soluciones válidas. La validación puramente programática es insuficiente porque los errores pueden ser sutiles (ej. lógica incorrecta pero sintácticamente válida) y la satisfacción del usuario depende de factores subjetivos y contextuales.

Actualmente, existen pocas evaluaciones estandarizadas para la generación end-to-end de libros de trabajo completos (con múltiples hojas, formato y fórmulas) que capturen la utilidad holística para el usuario.

2. Metodología: SPREADSHEETARENA

Los autores introducen SPREADSHEETARENA, una plataforma de evaluación basada en preferencias ciegas (blind pairwise preference) para hojas de cálculo generadas por LLM.

• Flujo de Trabajo:
  1. Los usuarios (o curadores expertos) envían prompts en lenguaje natural describiendo una tarea (ej. "Construye un modelo financiero para un hotel").
  2. Se generan cuatro pares de enfrentamientos (battles) entre modelos anónimos.
  3. Los votantes comparan dos hojas de cálculo generadas y eligen la preferida, o indican un empate/insatisfacción.
  4. Formato de Salida: Los modelos generan una representación JSON serializada (Schema SheetSpec@2) que incluye celdas, fórmulas, estilos y estructura, la cual se renderiza determinísticamente en el navegador del usuario.
• Datos: Se recopilaron 4,357 votos en enfrentamientos entre 16 modelos de diferentes familias (Claude, Gemini, GPT, Grok, Llama, etc.) a través de 6 categorías de prompts (Finanzas, Académico, Creativo, etc.).
• Modelos Estadísticos:
  • Se utiliza el Modelo de Bradley-Terry para estimar coeficientes de fuerza y generar rankings (puntuaciones Elo).
  • Se implementa una versión augmentada del modelo que incluye covariables (características observables de las hojas de cálculo) para descomponer la preferencia y aislar el "talento" del modelo de las características del output.

3. Contribuciones Clave

1. Plataforma de Evaluación: Lanzamiento de SpreadsheetArena como el primer "arena" dedicado a la generación de hojas de cálculo, con un dataset público de prompts, outputs y votos.
2. Rankings Estables: Establecimiento de un ranking de 16 LLMs, mostrando que los modelos Claude dominan actualmente, pero con matices importantes al ajustar por características.
3. Descomposición de Preferencias: Demostración de que las características observables (formato, densidad de texto, errores) influyen significativamente en los rankings y que estos efectos varían drásticamente según el dominio.
4. Taxonomía de Fallos: Creación de una taxonomía de fallos basada en datos (7 categorías) para caracterizar por qué se rechazan ciertas hojas de cálculo.
5. Evaluación de Expertos: Un estudio comparativo en el dominio financiero que revela una brecha significativa entre las preferencias de la "multitud" y los estándares profesionales.

4. Resultados Principales

A. Rankings y Ajuste de Características

• Ranking Global: Los modelos de la familia Claude (Opus 4.5, Sonnet 4.5) lideran el ranking base (Elo ~1400-1550), seguidos por Gemini 3 Pro y GPT-5.
• Compresión del Leaderboard: Al ajustar las puntuaciones Elo por 29 características extraídas programáticamente (ej. tasa de error, uso de colores, densidad de texto), la brecha entre modelos se reduce significativamente.
  • Ejemplo: Claude Opus 4.5 pierde 217 puntos Elo tras el ajuste, mientras que modelos como Qwen3 y Llama 4 ganan más de 150 puntos, sugiriendo que los modelos líderes a menudo "ganan" por un formato más rico o texto más largo, no necesariamente por una lógica superior.
• Factores de Éxito: Las características con mayor asociación positiva a la victoria son la densidad de texto (anotaciones), el uso de rellenos de fondo y el contenido numérico. La tasa de error de fórmulas es el factor negativo más fuerte.

B. Variación por Dominio
Los factores que impulsan la preferencia cambian según el contexto:

• Académico/Investigación: Se prefieren salidas minimalistas. El uso excesivo de formato de números (colores, estilos) se penaliza (coeficiente negativo alto), ya que se valora la transparencia de los datos crudos.
• Finanzas: Las convenciones profesionales importan. El cumplimiento de normas de codificación de colores (azul para inputs, negro para fórmulas) tiene un impacto positivo significativo en la preferencia, algo que no es estadísticamente significativo en otros dominios.

C. Taxonomía de Fallos
El análisis de las hojas perdedoras revela que los fallos son multifactoriales:

• Deficiencia de Presentación: Es el fallo más común (57-96% de las pérdidas), indicando que la falta de pulido visual es un gran factor de rechazo.
• Fallos de Integridad y Cálculo: Los modelos Claude, aunque tienen altas puntuaciones, muestran una proporción inusualmente alta de fallos en "Integridad" (lógica no vinculada, valores hard-coded) y "Cálculo Numérico" en comparación con otros modelos. Esto sugiere que sus fallos son más difíciles de detectar visualmente pero más críticos bajo auditoría experta.
• Modelos Débiles: Modelos como Qwen3 y Llama 4 fallan principalmente por incumplimiento de especificaciones (falta de secciones requeridas) y funcionalidad rota.

D. Estudio de Expertos en Finanzas

• Se evaluaron 52 pares de hojas de cálculo financieras con expertos del sector.
• Resultado Crítico: La alineación entre las preferencias de la audiencia (arena) y los expertos es baja (42.3% de acuerdo).
• Hallazgo: Los LLMs generan hojas que parecen bien formadas pero violan convenciones financieras esenciales (ej. valores hard-coded en fórmulas, falta de separación inputs/cálculos). El promedio de puntuación fue de 2.87/5, con la dimensión de "Codificación de Colores y Formato" siendo la más débil (1.95/5). Esto indica que la optimización basada en preferencias crowdsourced no garantiza la adherencia a estándares profesionales rigurosos.

5. Significado e Implicaciones

• Desafío para el Entrenamiento: Los datos de preferencia par para tareas estructuradas no recompensan uniformemente todas las dimensiones. Optimizar solo para "ganar votos" puede llevar a modelos que priorizan el formato visual sobre la corrección lógica o las convenciones de dominio.
• Necesidad de Evaluación Híbrida: La evaluación de LLMs en tareas complejas requiere combinar métricas programáticas, preferencias humanas y, crucialmente, evaluaciones de expertos para dominios de alto riesgo como las finanzas.
• Futuro: El trabajo sugiere la necesidad de intervenciones en el pre-entrenamiento y post-entrenamiento (RLHF/DPO) que incorporen reglas de dominio específicas y no solo preferencias generales, además de explorar algoritmos de inferencia que comparen paradigmas de generación de hojas de cálculo.

En conclusión, SPREADSHEETARENA demuestra que, aunque los LLMs actuales pueden generar hojas de cálculo sintácticamente válidas, la generación de artefactos funcionales, lógicamente correctos y alineados con estándares profesionales sigue siendo un desafío abierto, donde la preferencia humana superficial a menudo enmascara fallos críticos de integridad.