🤖 machine learning

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

Este artículo presenta PPT-Eval, un referente de 120 tareas de PowerPoint diseñado para evaluar agentes de uso de computadora, el cual cuenta con un novedoso marco basado en rúbricas que captura el progreso parcial y se correlaciona fuertemente con el juicio humano para revelar que los modelos de frontera actuales todavía tienen dificultades con la edición de presentaciones complejas.

Autores originales: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Publicado 2026-07-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot cómo usar Microsoft PowerPoint. Quieres ver si el robot realmente puede mirar una diapositiva, entender una petición como "añade un círculo azul aquí" y luego hacer clic en los botones correctos para lograrlo.

El artículo "PPT-EVAL" es esencialmente una prueba gigante y complicada diseñada para ver qué tan buenos son estos robots de "uso de computadora" realizando trabajos de presentaciones del mundo real.

Aquí está el desgón del artículo usando analogías simples:

1. El Problema: El Robot contra el Mundo Real

La mayoría de las pruebas anteriores para robots eran como darles un control de videojuegos con un conjunto limitado de botones. El robot solo podía hacer lo que el juego le permitía (como "añadir texto" o "cambiar color" mediante un comando de código).

Pero en el mundo real, los humanos no usan código; usan un ratón, un teclado y una pantalla. Hacen clic en menús, arrastran formas y usan herramientas de diseño que no tienen botones de código simples.

La afirmación del artículo: Las pruebas existentes no verificaban si los robots podían realmente usar el ratón en PowerPoint. Solo verificaban si los robots podían usar un "truco" (API). PPT-EVAL es la primera prueba que obliga al robot a usar la interfaz real de PowerPoint (la GUI) tal como lo haría un humano.

2. La Prueba: El "Gimnasio de PowerPoint"

Los investigadores construyerón un gimnasio con 120 ejercicios diferentes (tareas) repartidos en 12 archivos de PowerPoint distintos.

Los Archivos: Son como presentaciones del mundo real que podrías encontrar en una biblioteca: algunas son sobre medicina, otras sobre historia, otras sobre contabilidad. Tienen gráficos, diseños extraños y animaciones.
La Dificultad: Los ejercicios se califican como un videojuego:
- Fácil: "Cambia el color de fondo a azul". (Simple)
- Medio: "Añade un nuevo miembro al equipo a la lista y cambia su fuente". (Unos pocos pasos)
- Difícil: "Reorganiza este diagrama complejo, añade una nueva sección y asegúrate de que la animación se reproduzca correctamente". (Requiere pensar y muchos pasos).

3. La Calificación: La "Rúbrica" (La parte más importante)

Esta es la mayor innovación del artículo. En el pasado, las pruebas eran como un examen de Aprobado/Reprobado. Si el robot hacía el 90% bien pero fallaba en un detalle minúsculo, obtenía un cero. Eso es injusto porque el robot sí lo intentó y realizó la mayor parte del trabajo.

Los investigadores crearon una Rúbrica (una hoja de calificación detallada), que es como un juez de un concurso de talentos en lugar de un profesor estricto.

Crédito Parcial: Si el robot añade el círculo pero lo pone en el lugar equivero, el juez le da puntos por añadir el círculo pero le resta puntos por la ubicación.
Penalizaciones: Si el robot accidentalmente borra una diapositiva o añade una animación extraña que no se le pidió, el juez le quita puntos.
El "Toque Humano": El sistema de calificación utiliza IA para escribir una explicación en lenguaje natural, como: "Lograste el círculo, pero está bloqueando el texto. Buen trabajo con el color, pero la posición necesita mejorar".

El Resultado: Este sistema de "Juez de Concurso de Talentos" estuvo 77% alineado con la forma en que los humanos reales calificarían el trabajo. Esto significa que la prueba es justa y precisa.

4. Los Resultados: Los Robots aún están aprendiendo

Los investigadores sometieron a los robots de IA más inteligentes del mundo (como Claude-4.5 y los modelos de OpenAI) a esta prueba.

La Puntuación: Incluso los mejores robots lograron completar aproximadamente el 45% de las tareas de forma "perfecta".
El Promedio: En promedio, obtuvieron alrededor del 57% de los puntos cuando se cuenta su progreso parcial.
La Comparación: Un experto humano, ante el mismo examen, obtendría alrededor de un 80%.
La Brecha entre API y GUI: Curiosamente, cuando se les permitió a los robots usar "trucos" (APIs) en lugar del ratón, lo hicieron mucho mejor (62% de éxito). Esto demuestra que, aunque los robots son inteligentes, siguen siendo torpes con un ratón y un teclado en comparación con cómo manejan el código.

Resumen

Piensa en PPT-EVAL como un examen de conducir para robots.

Pruebas Antiguas: Le preguntaban al robot: "¿Puedes calcular la velocidad del coche?" (Código/API).
PPT-EVAL: Pone al robot en el asiento del conductor, le entrega el volante y le dice: "Conduce a la tienda, aparca en el lugar y no golpees el bordillo". (GUI/Ratón).

El artículo concluye que, si bien nuestros robots actuales están mejorando, todavía luchan con las habilidades motoras finas y el razonamiento visual necesarios para usar PowerPoint como un humano. Todavía queda un largo camino por recorrer antes de que puedan encargarse totalmente de nuestros trabajos de presentaciones.

Resumen Técnico: PPT-EVAL

Planteamiento del Problema

La creación y edición de diapositivas de presentaciones es una actividad profesional ubicua, pero sigue siendo un dominio poco explorado para la evaluación de agentes de uso de computadora. Los benchmarks existentes carecen de profundidad en software de presentaciones (por ejemplo, OSWORLD, WindowsAgentArena) o están restringidos a APIs programáticas (por ejemplo, PPTC) y generación de texto a diapositiva (por ejemplo, SlidesBench). Estas limitaciones impiden que los agentes accedan al conjunto completo de funciones de las herramientas de presentación modernas, tales como herramientas de diseño, gráficos avanzados, transiciones y animaciones, que suelen estar disponibles únicamente a través de una Interfaz Gráfica de Usuario (GUI). Además, las métricas de evaluación actuales suelen depender de criterios binarios de éxito/fracaso, lo que no logra capturar el matiz del progreso parcial o penaliza los cambios innecesarios en tareas complejas y abiertas.

Metodología

El Benchmark PPT-EVAL

Los autores presentan PPT-EVAL, un benchmark que consta de 120 tareas distribuidas en 12 archivos de PowerPoint obtenidos de Internet Archive. Las tareas cubren diversos dominios (Medicina, Ciencias de la Computación, Contabilidad, etc.) y están estratificadas en tres niveles de dificultad:

Fácil (Easy): Tareas simples que requieren $\le$ 5 pasos.
Medio (Medium): Tareas compuestas que requieren 5–10 pasos.
Difícil (Hard): Tareas complejas que requieren $\ge$ 10 pasos o razonamiento avanzado.

El benchmark está diseñado para la interacción basada en GUI utilizando PowerPoint Online. Los agentes operan dentro de un entorno Ubuntu en un sandbox utilizando un navegador Chromium, lo que les permite interactuar con toda la superficie de funciones del usuario final (ratón, teclado, desplazamiento) en lugar de estar limitados a llamadas de API como python-pptx.

Marco de Evaluación: Rúbricas Estructuradas en Árbol

Para abordar el desafío de evaluar tareas multimodales y abiertas con múltiples soluciones válidas, los autores diseñaron un sistema de evaluación basado en rúbricas. Los componentes clave incluyen:

Rúbricas Estructuradas en Árbol: Cada tarea se descompone en una jerarquía de criterios. Los nodos se clasifican como críticos (requisitos principales) o no críticos (elecciones estilísticas, penalizando cambios extraños).
Calificación de Crédito Parcial: A diferencia de las métricas binarias, el sistema otorga crédito parcial por el progreso intermedio. La estrategia de agregación utiliza una fórmula modificada:
$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$
donde $\lambda = 0.3$ . Esto asegura que los fallos críticos impacten significativamente la puntuación, mientras que los errores no críticos introducen penalizaciones sin anular el progreso significativo.
Verificación Multimodal: Los nodos hoja utilizan:
- Verificaciones programáticas (python-pptx, clase personalizada PPTDiff) para cambios estructurales, animaciones y transiciones.
- Llamadas de LLM/VLM para corrección semántica y verificación visual (por ejemplo, coincidencia de colores, alineación de diseño) donde la coincidencia exacta de píxeles es insuficiente.
Retroalimentación en Lenguaje Natural: El sistema agrega recursivamente las explicaciones de los nodos hijos para generar retroalimentación legible por humanos para la puntuación final.

Configuración Experimental

Los autores evaluaron una gama de agentes en PPT-EVAL:

Modelos de Frontera Cerrados: COMPUTER-USE-PREVIEW de OpenAI, CLAUDE-4-SONNET y CLAUDE-4.5-OPUS de Anthropic.
Modelos de Pesos Abiertos: OPENCUA (7B, 32B) y QWEN3-VL (8B, 32B).
Baselines: Un baseline humano (5 participantes) y un baseline basado en API usando CLAUDE-4.5-OPUS con la habilidad pptx.

Resultados Clave

Rendimiento de los Agentes

Brecha Significativa: Los agentes de frontera tienen dificultades con las tareas de PowerPoint. El modelo más fuerte, CLAUDE-4.5-OPUS, logró una tasa de éxito del 45% (puntuación perfecta) y una puntuación parcial promedio de 0.57.
Baseline Humano: Los participantes humanos lograron una tasa de éxito del 80% y una puntuación parcial promedio de 0.90, resaltando un amplio margen de mejora en las capacidades de los agentes.
API vs. GUI: El baseline basado en API (CLAUDE-4.5-OPUS vía la habilidad pptx) superó significativamente al mejor agente de GUI (62% de éxito frente al 45%), demostrando que los agentes de GUI actuales están rezagados respecto a la madurez de los modelos entrenados en CLI/API, a pesar de tener acceso a funciones más ricas.
Dificultad de la Tarea: El rendimiento decae bruscamente con la dificultad. CLAUDE-4.5-OPUS bajó de un 56% de éxito en tareas Fáciles a un 35% en tareas Difíciles.
Modos de Fallo: El análisis reveló que los agentes tienen dificultades con estructuras avanzadas (tablas, animaciones, diseños no estándar) y a menudo fallan en mantener la consistencia entre diapositivas o evitar modificaciones no deseadas.

Fiabilidad de la Rúbrica

La evaluación basada en rúbricas mostró una fuerte alineación con el juicio humano:

Correlación: $\tau_b$ de Kendall de 0.77 y $\rho$ de Spearman de 0.84 entre las puntuaciones de la rúbrica y las categorías esperadas por humanos.
Granularidad: El sistema distinguió eficazmente entre "Sin Progreso", "Algo de Progreso", "Progreso Significativo" y "Completitud Perfecta", aunque surgieron desacuerdos debido a juicios estéticos subjetivos o alucinaciones de los VLM.

Significado y Reivindicaciones

El artículo sostiene que PPT-EVAL llena un vacío crítico en la evaluación de agentes de uso de computadora al proporcionar un benchmark realista de nivel GUI para la edición de presentaciones. Sus contribuciones primarias son:

Un Banco de Pruebas Realista: Va más allá de las tareas limitadas por API para evaluar a los agentes en el conjunto completo de funciones de PowerPoint, incluyendo transiciones, animaciones y herramientas de diseño.
Evaluación Matizada: Al introducir rúbricas estructuradas en árbol con crédito parcial y retroalimentación en lenguaje natural, supera las limitaciones de las métricas binarias de éxito, permitiendo una evaluación más granular de las capacidades de los agentes.
Benchmarking de la Realidad: Los resultados demuestran que, si bien los modelos de frontera pueden realizar progresos significativos, todavía están considerablemente rezagados respecto al rendimiento humano y a los agentes basados en API en flujos de trabajo de GUI complejos e iterativos.

Los autores concluyen que hay un "margen de mejora significativo" en las capacidades realistas de uso de computadora basadas en GUI y que su benchmark proporciona un marco robusto para medir este progreso más allá de las simples métricas de pasa/no pasa.