Read, Critique, or Sketch? Investigating Alternative Visualization Literacy Assessment Modalities

Resumo Técnico: Ler, Criticar ou Esboçar? Investigando Alternativas de Modalidades de Avaliação de Literacia de Visualização

Definição do Problema
A literacia de visualização é um constructo multifacetado que envolve competências em decodificação, construção e crítica de visualizações. No entanto, as avaliações existentes (ex.: VLAT, Mini-VLAT, CALVI) são predominantemente em formato de múltipla escolha, focadas em competências de ordem inferior, como a compreensão de gráficos e a extração de factos. Estes métodos quantitativos sofrem frequentemente de "efeitos de teto", onde indivíduos mesmo com competências modestas pontuam próximo do máximo, falhando em diferenciar níveis variados de especialização. Além disso, carecem da nuance necessária para avaliar competências de ordem superior, tais como a aplicação de conhecimento externo, a formulação de críticas e o design de visualizações do zero. Os autores argumentam que, analogamente à inclusão de ensaios em testes padronizados como o SAT e o GRE para a literacia textual, a comunidade de visualização necessita de avaliações qualitativas não restringidas e focadas na criação para avaliar plenamente o espectro das competências de literacia.

Metodologia
Os autores realizaram um estudo de utilizadores intra-sujeitos ($N=80$) para desenvolver e validar duas novas modalidades de avaliação qualitativa: Esboço (Sketching) e Crítica (Critique).

• Participantes: Foram recrutados três grupos distintos representando diferentes níveis de especialização:
  • Trabalhadores de crowdworking (Crowdworkers) ($n=42$): Recrutados via Prolific, presumindo-se que possuam formação formal mínima em visualização.
  • Estudantes ($n=21$): Estudantes de graduação ou pós-graduação que completaram um curso de visualização.
  • Especialistas (Experts) ($n=17$): Investigadores de visualização (detentores de doutoramento ou capazes de rever artigos de investigação).
• Tarefas de Avaliação:
  • Esboço (Sketching): Os participantes foram apresentados com cinco conjuntos de dados diversos (ex.: redes sociais, hierarquias de ficheiros, dados de precipitação) e foram solicitados a "Esboçar uma visualização que acredita representar melhor estes dados" enquanto pensavam em voz alta. Utilizaram uma tela baseada na web (TLDraw) com rastreio de proveniência.
  • Crítica (Critique): Os participantes foram apresentados com três visualizações com falhas de design intencionais (ex.: um treemap 3D com uma escala de cores inapropriada, um gráfico de linhas com projeções de escala logarítmica enganosas e um mapa com um agrupamento/binning deficiente). Foi-lhes solicitado que pensassem em voz alta e criticassem as visualizações.
  • Medidas de Controlo: Os participantes também completaram avaliações estabelecidas de múltipla escolha: Mini-VLAT (compreensão) e CALVI (pensamento crítico).
• Graduação e Análise:
  • Rubricas: Foram desenvolvidas rubricas holísticas para ambas as modalidades. A rubrica de Esboço avaliou o Design/Hierarquia de Visualização, Escolha de Codificação Base, Validade Semântica e Guias/Texto. A rubrica de Crítica avaliou Leitura, Contextualização e Julgamento. As pontuações variaram de "Nenhuma" a "Excelente" (escala de 5 pontos).
  • Análise Estatística: Os autores utilizaram Teoria de Resposta ao Item (IRT) Bayesiana usando um modelo de regressão ordinal 2PL para estimar as capacidades latentes e a discriminação dos itens. Realizaram testes t de Welch para comparar as médias dos grupos e calcularam as correlações de Pearson entre os scores de capacidade latente das quatro avaliações.

Principais Contribuições

1. Novas Modalidades de Avaliação: O artigo introduz e valida duas tarefas de avaliação qualitativa de formato aberto (Esboço e Crítica) desenhadas para medir competências de literacia de visualização de ordem superior que os testes de múltipla escolha não captam.
2. Rubricas Holísticas: Os autores fornecem rubricas de graduação holísticas detalhadas para avaliar esboços de formato livre e críticas de pensamento em voz alta, indo além da simples correção para avaliar o raciocínio e o design.
3. Validação Empírica: Através de um estudo comparativo com testes estabelecidos, os autores demonstram que estas modalidades qualitativas conseguem diferenciar níveis de especialização (trabalhadores de crowdworking, estudantes, especialistas) onde os testes tradicionais falham.

Resultados

• Diferenciação de Especialização: As avaliações de Esboço e Crítica mostraram forte sensibilidade às diferenças de especialização.
  • Esboço: Diferenciou significativamente entre os três grupos (Especialistas vs. Crowdworkers, Estudantes vs. Crowdworkers, e Especialistas vs. Estudantes).
  • Crítica: Diferenciou significativamente entre Especialistas e Crowdworkers, e Especialistas e Estudantes, embora a distinção entre Estudantes e Crowdworkers tenha sido menos pronunciada.
  • Comparação: Em contraste, o Mini-VLAT exibiu um forte efeito de teto, sem diferenças significativas entre pares de grupos. O CALVI mostrou alguma diferenciação (Especialistas vs. Crowdworkers), mas foi menos sensível que as medidas qualitativas.
• Discriminação de Itens: A análise de IRT Bayesiana revelou que os itens de Esboço e Crítica tinham valores de discriminação elevados (mediana ~1.92 para Crítica, ~1.52 para Esboço), indicando que distinguem eficazmente entre participantes de diferentes níveis de capacidade.
• Correlação: As avaliações qualitativas (Esboço e Crítica) mostraram correlação moderada entre si ($r \approx 0.59$) e com o CALVI ($r \approx 0.52-0.57$), mas correlação fraca com o Mini-VLAT ($r \approx 0.30$). Isto sugere que, embora relacionadas, estas avaliações captam conjuntos de competências distintos.
• Observações Qualitativas:
  • Os trabalhadores de crowdworking expressaram frequentemente frustração com o esboço manual e recorreram a tipos de gráficos familiares, mas muitas vezes inapropriados (ex.: gráficos de barras para todos os dados).
  • Os especialistas demonstraram escolhas de design matizadas (ex.: evitar cruzamentos de arestas em diagramas de nós e ligações) e um raciocínio contextual mais profundo.
  • Os trabalhadores de crowdworking produziram frequentemente "críticas superficiais" focadas em regras básicas (ex.: "precisa de um título") em vez de empatia de design ou questões de literacia de dados.

Significância e Alegações
Os autores alegam que as avaliações qualitativas e multimodais são um complemento promissor para as avaliações de literacia de visualização existentes, particularmente quando o objetivo é distinguir entre indivíduos com formação em visualização e aqueles sem ela. Argumentam que, embora os testes de múltipla escolha sejam eficientes para a compreensão básica, são insuficientes para avaliar as competências de construção e crítica essenciais para o trabalho avançado de visualização.

O artigo posiciona modestamente estas ferramentas não como um substituto para todos os testes, mas como uma adição necessária ao conjunto de ferramentas, especialmente em contextos que exigem uma diferenciação de competências de alta fidelidade (ex.: seleção de participantes para experiências envolvendo design de visualização). Os autores reconhecem o aumento do fardo de administração e graduação como uma limitação, mas sugerem que os insights obtidos sobre competências de ordem superior justificam o esforço. Notam também que trabalhos futuros devem explorar o uso de Modelos de Linguagem de Grande Escala (LLMs) para a graduação, embora alertem para as limitações atuais no tratamento de rubricas holísticas e viés dialetal.