Beyond Advocacy: A Design Space for Replication-Related Studies

Este artigo apresenta um quadro de espaço de design multidimensional que estrutura o planejamento e a análise de estudos de replicação ao tratá-los como um problema de comparação par a par, definido por quatro dimensões práticas e três níveis de comparação.

O essencial

Imagine que você é um chef de cozinha famoso que criou uma receita de bolo perfeita. Agora, imagine que outros chefs ao redor do mundo querem tentar fazer o mesmo bolo para ver se eles conseguem o mesmo resultado delicioso.

Às vezes, eles seguem a receita exatamente igual. Às vezes, trocam o forno de gás por um elétrico. Às vezes, usam farinha de trigo diferente ou até mesmo trocam os ovos por um substituto vegano.

O problema é que, na ciência (especialmente em áreas como visualização de dados e interação humano-computador), quando alguém tenta refazer um estudo antigo, é muito difícil explicar exatamente o que mudou e o que ficou igual. É como se cada chef dissesse: "Eu fiz um bolo parecido com o seu", mas ninguém sabe se o bolo ficou igual, melhor, ou se é um bolo totalmente novo disfarçado de bolo antigo.

Aqui entra o artigo que você pediu para explicar. Ele é como um "Mapa de Receitas" ou um "Kit de Montagem" para cientistas que querem refazer estudos.

O Problema: A Confusão das "Repetições"

Antes, os cientistas discutiam muito sobre os nomes das coisas (o que é "reprodução", o que é "replicação", etc.), mas não tinham uma ferramenta prática para dizer: "Olha, eu mantive a receita igual, mas mudei o ingrediente X". Isso tornava difícil comparar os resultados.

A Solução: O "Espaço de Design" (O Mapa de Receitas)

Os autores criaram um quadro (uma tabela) que ajuda a organizar qualquer estudo de repetição em 4 pilares principais (as partes do bolo) e 3 níveis de comparação (o quanto mudou).

Os 4 Pilares (O que compõe o estudo):

1. O Experimento (A Receita): Como o estudo foi feito? (As tarefas, os materiais, o ambiente).
2. Os Dados (O Bolo Assado): O que foi medido? (Os resultados, as respostas das pessoas, os números).
3. Os Participantes (Quem comeu o bolo): Quem participou? (Estudantes, especialistas, pessoas cegas, etc.).
4. A Análise (O Degustador): Como os resultados foram interpretados? (Qual estatística ou método foi usado para tirar conclusões).

Os 3 Níveis de Comparação (O quanto mudou?):

Para cada um dos 4 pilares acima, você pode classificar a mudança em apenas três categorias:

1. Idêntico (A Mesma Receita):
   • Analogia: Você usou a mesma receita, o mesmo forno e os mesmos ingredientes.
   • Significado: Tudo é igual ao estudo original. É uma cópia fiel.
2. Semelhante (Uma Variação):
   • Analogia: Você usou a mesma receita, mas trocou o forno de gás por elétrico, ou usou farinha de trigo integral em vez de branca. O bolo ainda é um bolo, mas tem um toque diferente.
   • Significado: A parte mudou, mas ainda serve para comparar com o original. A comparação ainda faz sentido.
3. Diferente (Um Prato Novo):
   • Analogia: Você decidiu fazer uma torta de limão em vez de bolo de chocolate.
   • Significado: A parte mudou tanto que não dá mais para comparar diretamente com o original. É uma abordagem totalmente nova.

Como isso funciona na prática?

O artigo mostra que, ao invés de escrever textos longos e confusos, os cientistas podem preencher esse "mapa".

• Exemplo 1 (Replicação Direta): Um cientista quer provar que o bolo do chef original é realmente bom. Ele faz tudo Idêntico.
• Exemplo 2 (Replicação com Adaptação): Um cientista quer ver se o bolo funciona para pessoas que não têm paladar. Ele mantém a receita e a análise, mas muda os Participantes para serem Diferentes.
• Exemplo 3 (Triangulação): Um cientista quer ver o mesmo fenômeno de outra forma. Ele muda a Receita e os Dados para serem Diferentes, mas usa uma lógica de análise Semelhante para ver se chega à mesma conclusão.

Por que isso é importante?

Esse quadro é como um GPS para a ciência. Ele permite que os pesquisadores:

1. Planejem suas novas pesquisas antes de começar (prospectivo).
2. Descrevam o que fizeram depois de terminar, de forma clara e sem ambiguidades (retrospectivo).
3. Evitem a confusão de termos. Em vez de brigar sobre se algo é "reprodução" ou "replicação", eles mostram no mapa: "Mudei o participante, mas mantive a análise".

Resumo Final

Pense nesse artigo como a criação de um idioma universal para "refazer coisas". Ele diz: "Não importa se você está refazendo um estudo de 1984 ou criando algo novo. Use este mapa de 4 partes e 3 níveis para explicar exatamente o que você fez em relação ao original."

Isso ajuda a ciência a ser mais transparente, a evitar erros e a entender melhor o que realmente funciona, seja na visualização de dados, na psicologia ou em qualquer outra área onde se faz experimentos. É a diferença entre dizer "fiz um bolo parecido" e mostrar a foto da receita lado a lado com as anotações de cada ingrediente trocado.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Beyond Advocacy: A Design Space for Replication-Related Studies" (Além do Advocacy: Um Espaço de Design para Estudos Relacionados à Replicação), apresentado na EUROVIS 2026.

1. O Problema

Apesar da importância central da reprodutibilidade e replicabilidade na ciência (especialmente nas áreas de Visualização e HCI), a comunidade enfrenta desafios práticos significativos:

• Falta de Diretrizes Práticas: Embora existam discussões conceituais e advocacy sobre a "crise de replicação", há uma escassez de suporte para as decisões práticas que os pesquisadores devem tomar ao projetar um estudo de replicação.
• Terminologia Inconsistente: Termos como "replicação", "reprodução" e "repetição" são usados de forma sobreposta ou conflitante, dificultando a comunicação clara.
• Dificuldade de Comparação: Não existe uma maneira consistente e auditável de relatar como um novo estudo (a replicação) se relaciona com o estudo original (o estudo de referência). Os pesquisadores precisam decidir explicitamente quais aspectos devem permanecer iguais e quais devem ser alterados, mas não há um framework unificado para estruturar essas escolhas.
• Limitação das Guias Atuais: As diretrizes existentes focam em experimentos únicos e independentes, não no design de um estudo que é, por definição, dependente e comparativo a um estudo anterior.

2. Metodologia

Os autores propõem um Framework de Espaço de Design Multidimensional para estudos de replicação. A abordagem trata o design de replicação como um problema de comparação em pares entre o estudo de replicação e o estudo de referência.

O framework é estruturado em duas dimensões principais:

A. Espaço de Componentes (O "O Quê")

O framework descreve a relação entre os estudos através de quatro componentes práticos do ciclo experimental:

1. Experimento (E): O procedimento, protocolo, tarefas, materiais, condições e ambiente (ou protocolo computacional/simulação).
2. Dados (D): A fonte de evidência (respostas humanas, logs, anotações ou saídas computacionais).
3. Participante (P): A população e as especificações de amostragem (recrutamento, critérios de inclusão/exclusão, expertise). Nota: Em estudos puramente computacionais, este componente é tratado como "não aplicável".
4. Análise (A): Os procedimentos inferenciais usados para transformar evidências em afirmações (métodos estatísticos, modelos).

B. Escala de Comparação (O "Como")

Para cada par de componentes (Replicação vs. Referência), o framework define três níveis de comparação descritivos (não normativos):

1. Idêntico (Identical): O componente desempenha a mesma função e produz o mesmo tipo de evidência. Pequenas diferenças de implementação inevitáveis são permitidas, mas a comparação é direta.
2. Similar (Similar): O componente difere substancialmente, mas ainda desempenha uma função comparável e gera um tipo de evidência comparável. A comparabilidade é preservada, embora exija interpretação.
3. Diferente (Different): O componente é formulado de forma tão distinta que nenhuma comparação direta ou comparabilidade significativa com o estudo de referência pode ser estabelecida.

Regras de Colapso

O framework inclui regras para lidar com casos especiais:

• Estudos Computacionais: O componente "Participante" é marcado como não aplicável.
• Reuso de Dados (D-Idêntico): Se o novo estudo reutiliza exatamente os dados do estudo de referência, os componentes "Experimento" e "Participante" são colapsados como não aplicáveis, pois a reanálise é independente da coleta original.

3. Contribuições Principais

1. Reenquadramento Conceitual: A replicação é redefinida não apenas como um conceito abstrato, mas como um problema de comparabilidade e correspondência entre dois estudos, focando nas escolhas de design práticas.
2. Framework Operacional: A criação de um espaço de design multidimensional (4 componentes x 3 níveis) que serve tanto para:
   • Caracterização Retrospectiva: Analisar e classificar estudos de replicação já publicados.
   • Planejamento Prospectivo: Ajudar pesquisadores a planejar novos estudos de replicação, visualizando o espaço de possibilidades de design.
3. Exemplos Práticos: O artigo fornece exemplos de trabalho (baseados no estudo clássico de [CM84] sobre percepção gráfica) que ilustram como o framework pode ser aplicado para descrever desde réplicas precisas até reavaliações conceituais.
4. Unificação de Terminologia: O framework permite mapear conceitos existentes (como "replicação direta" ou "replicação conceitual") para combinações específicas de componentes e níveis de comparação, eliminando a ambiguidade terminológica.

4. Resultados e Exemplos de Aplicação

Os autores demonstram a utilidade do framework através de quatro exemplos de design:

• Exemplo 1 (Esimilar × Dsimilar × Pdifferent × Aidentical): Um estudo que adapta gráficos para táteis (experimento similar) para uma população com deficiência visual (participante diferente), mantendo a mesma análise. Mostra a reavaliação de achados para novos grupos de usuários.
• Exemplo 2 (Esimilar × Dsimilar × Psimilar × Adifferent): Um estudo que mantém o protocolo e a população, mas altera a análise (usando modelagem Bayesiana em vez de médias simples) para destacar diferenças individuais.
• Exemplo 3 (Edifferent × Ddifferent × Psimilar × Asimilar): Um estudo que usa um paradigma de psicofísica diferente (limiar vs. estimação de magnitude), alterando o experimento e os dados, mas mantendo a comparabilidade através da triangulação.
• Exemplo 4 (Eidentical × Dsimilar × Pidentical × Aidentical): Uma replicação precisa, onde o protocolo e a análise são mantidos o mais idênticos possível, visando validação direta.

5. Significância e Impacto

• Transparência e Auditabilidade: O framework oferece uma maneira padronizada de relatar o que mudou e o que foi mantido em um estudo de replicação, permitindo que a comunidade avalie a validade das comparações feitas.
• Superação do "Advocacy": O artigo move a discussão da comunidade de HCI/Visualização de meros apelos por mais replicação para ferramentas práticas de design e execução.
• Flexibilidade: Ao não impor uma definição rígida de "replicação", o framework acomoda a vasta gama de estudos que tentam responder à mesma pergunta de pesquisa de maneiras diferentes, reconhecendo que "diferente" não significa necessariamente "incomparável".
• Ferramenta de Planejamento: Serve como um guia para pesquisadores que desejam revisitar estudos anteriores, enumerando as possibilidades de design experimental e ajudando a justificar escolhas metodológicas.

Em suma, o artigo fornece a infraestrutura necessária para transformar a replicação de um conceito teórico em uma prática de engenharia de pesquisa rigorosa, auditável e bem estruturada.