Read, Critique, or Sketch? Investigating Alternative Visualization Literacy Assessment Modalities

Resumen Técnico: ¿Leer, Criticar o Esbozar? Investigación de Alternativas de Modalidades para la Evaluación de la Alfabetización en Visualización

Planteamiento del Problema
La alfabetización en visualización es un constructo multifacético que involucra habilidades de decodificación, construcción y crítica de visualizaciones. Sin embargo, las evaluaciones existentes (por ejemplo, VLAT, Mini-VLAT, CALVI) se centran predominantemente en formatos de opción múltiple enfocados en habilidades de orden inferior, como la comprensión de gráficos y la extracción de hechos. Estos métodos cuantitativos suelen sufrir de "efectos de techo", donde incluso individuos con habilidades moderadas puntúan cerca del máximo, fallando en diferenciar entre distintos niveles de pericia. Además, carecen de la sutileza necesaria para evaluar habilidades de orden superior, tales como la aplicación de conocimiento externo, la formulación de críticas y el diseño de visualizaciones desde cero. Los autores argumentan que, de manera análoga a la inclusión de ensayos en exámenes estandarizados como el SAT y el GRE para la alfabetización textual, la comunidad de la visualización requiere evaluaciones cualitativas no restringidas y centradas en la creación para evaluar plenamente el rango de habilidades de alfabetización.

Metodología
Los autores llevaron a cabo un estudio de usuario intra-sujeto ($N=80$) para desarrollar y validar dos nuevas modalidades de evaluación cualitativa: Esbozo (Sketching) y Crítica (Critique).

• Participantes: Se reclutaron tres grupos distintos que representan diversos niveles de pericia:
  • Trabajadores de plataformas (Crowdworkers) ($n=42$): Reclutados vía Prolific, presuntamente con una formación formal mínima en visualización.
  • Estudiantes ($n=21$): Estudiantes de grado o posgrado que han completado un curso de visualización.
  • Expertos ($n=17$): Investigadores de visualización (poseedores de doctorado o capaces de revisar artículos de investigación).
• Tareas de Evaluación:
  • Esbozo (Sketching): A los participantes se les presentó cinco conjuntos de datos diversos (por ejemplo, redes sociales, jerarquías de archivos, datos de precipitación) y se les pidió: "Esboce una visualización que crea que representa mejor estos datos" mientras realizaban la técnica de pensar en voz alta. Utilizaron un lienzo basado en la web (TLDraw) con seguimiento de procedencia.
  • Crítica (Critique): Los participantes observaron tres visualizaciones con fallos de diseño intencionales (por ejemplo, un treemap en 3D con una escala de color inapropiada, un gráfico de líneas con proyecciones de escala logarítmica engañosas y un mapa con un agrupamiento/binning deficiente). Se les pidió que pensaran en voz alta y criticaran las visualizaciones.
• Medidas de Control: Los participantes también completaron evaluaciones de opción múltiple establecidas: Mini-VLAT (comprensión) y CALVI (pensamiento crítico).
• Calificación y Análisis:
  • Rúbricas: Se desarrollaron rúbricas holísticas para ambas modalidades. La rúbrica de Esbozo evaluó el Diseño/Jerarquía de la Visualización, la Elección de Codificación Base, la Validez Semántica y las Guías/Texto. La rúbrica de Crítica evaluó la Lectura, la Contextualización y el Juicio. Las puntuaciones variaron de "Ninguna" a "Excelente" (escala de 5 puntos).
  • Análisis Estadístico: Los autores utilizaron la Teoría de Respuesta al Ítem (IRT) Bayesiana utilizando un modelo de regresión ordinal 2PL para estimar las capacidades latentes y la discriminación de los ítems. Realizaron pruebas t de Welch para comparar las medias de los grupos y calcularon las correlaciones de Pearson entre las puntuaciones de capacidad latente de las cuatro evaluaciones.

Contribuciones Clave

1. Nuevas Modalidades de Evaluación: El artículo introduce y valida dos tareas de evaluación cualitativas y abiertas (Esbozo y Crítica) diseñadas para medir habilidades de alfabetización en visualización de orden superior que los exámenes de opción múltiple omiten.
2. Rúbricas Holísticas: Los autores proporcionan rúbricas de calificación holísticas detalladas para evaluar esbozos de formato libre y críticas de pensamiento en voz alta, yendo más allá de la simple corrección para evaluar el razonamiento y el diseño.
3. Validación Empírica: A través de un estudio comparativo con pruebas establecidas, los autores demuestran que estas modalidades cualitativas logran diferenciar con éxito los niveles de pericia (trabajadores de plataformas, estudiantes, expertos) donde las pruebas tradicionales fallan.

Resultados

• Diferenciación de Pericia: Las evaluaciones de Esbozo y Crítica mostraron una fuerte sensibilidad a las diferencias de pericia.
  • Esbozo: Diferenció significativamente entre los tres grupos (Expertos vs. Trabajadores de plataformas, Estudiantes vs. Trabajadores de plataformas, y Expertos vs. Estudiantes).
  • Crítica: Diferenció significativamente entre Expertos y Trabajadores de plataformas, y entre Expertos y Estudiantes, aunque la distinción entre Estudiantes y Trabajadores de plataformas fue menos pronunciada.
  • Comparación: En contraste, el Mini-VLAT exhibió un fuerte efecto de techo, sin diferencias significativas entre pares de grupos. CALVI mostró cierta diferenciación (Expertos vs. Trabajadores de plataformas) pero fue menos sensible que las medidas cualitativas.
• Discriminación de Ítems: El análisis de IRT Bayesiana reveló que los ítems de Esbozo y Crítica tenían valores de discriminación altos (mediana ~1.92 para Crítica, ~1.52 para Esbozo), lo que indica que distinguen eficazmente entre participantes de distintos niveles de capacidad.
• Correlación: Las evaluaciones cualitativas (Esbozo y Crítica) mostraron una correlación moderada entre sí ($r \approx 0.59$) y con CALVI ($r \approx 0.52-0.57$), pero una correlación débil con Mini-VLAT ($r \approx 0.30$). Esto sugiere que, aunque están relacionadas, estas evaluaciones capturan conjuntos de habilidades distintos.
• Observaciones Cualitativas:
  • Los trabajadores de plataformas expresaron frecuentemente frustración con el esbozo manual y recurrieron a tipos de gráficos familiares, pero a menudo inapropiados (por ejemplo, gráficos de barras para todos los datos).
  • Los expertos demostraron elecciones de diseño matizadas (por ejemplo, evitar cruces de bordes en diagramas de nodos y enlaces) y un razonamiento contextual más profundo.
  • Los trabajadores de plataformas a menudo produjeron "críticas superficiales" centradas en reglas básicas (por ejemplo, "necesita un título") en lugar de problemas de empatía de diseño o alfabetización de datos.

Significancia y Reivindicaciones
Los autores afirman que las evaluaciones cualitativas y multimodales son un complemento prometedor para las evaluaciones de alfabetización en visualización existentes, particularmente cuando el objetivo es distinguir entre individuos con formación en visualización y aquellos que no la tienen. Argumentan que, si bien las pruebas de opción múltiple son eficientes para la comprensión básica, son insuficientes para evaluar las habilidades de construcción y crítica esenciales para el trabajo avanzado en visualización.

El artículo posiciona modestamente estas herramientas no como un reemplazo para todas las pruebas, sino como una adición necesaria al conjunto de herramientas, especialmente en contextos que requieren una diferenciación de habilidades de alta fidelidad (por ejemplo, la selección de participantes para experimentos que involucren diseño de visualización). Los autores reconocen que la mayor carga de administración y calificación es una limitación, pero sugieren que los conocimientos obtenidos sobre las habilidades de orden superior justifican el esfuerzo. También señalan que el trabajo futuro debería explorar el uso de Modelos de Lenguaje Extensos (LLM) para la calificación, aunque advierten sobre las limitaciones actuales en el manejo de rúbricas holísticas y el sesgo dialectal.