Ethics in Online Software Experimentation: A Body of Knowledge and the Cactus Model

No mundo digital, as empresas constantemente ajustam seus softwares para torná-los melhores, mais rápidos ou mais envolventes. Elas podem mudar a cor de um botão, reorganizar um menu ou testar uma nova forma de exibir preços. Para ver se essas mudanças funcionam, elas frequentemente realizam o que são chamados de experimentos online. Nesses testes, pessoas reais usam o software sem sempre saberem que fazem parte de um estudo. Um método comum é mostrar a um grupo de usuários a versão A de um recurso e a outro grupo a versão B, e então comparar como eles se comportam. Essa abordagem ajuda as empresas a aprender o que as pessoas querem, mas também coloca usuários comuns em uma situação onde suas escolhas e dados estão sendo manipulados para testar uma hipótese. Embora essa prática impulsione a inovação, ela levanta uma questão silenciosa, mas séria: só porque uma empresa pode realizar esses testes, ela deveria fazê-lo? E, se o fizer, como pode garantir que não está prejudicando as pessoas que tornam o software possível?

Dois pesquisadores do Brasil partiram para responder a essas perguntas analisando o lado ético desses testes digitais. Eles notaram que, embora muitas empresas realizem esses experimentos, as regras sobre tratar as pessoas com justiça são frequentemente vagas, dispersas ou totalmente ignoradas. Os pesquisadores queriam construir um guia claro que as equipes de software pudessem realmente usar. Eles não apenas listaram ideias abstratas sobre o certo e o errado; em vez disso, reuniram problemas específicos que ocorrem durante esses testes e os combinaram com formas práticas de resolvê-los. O objetivo deles era criar um modelo (o Modelo Cactus) que ajudasse os especialistas a refletir sobre as consequências morais de seus experimentos antes mesmo de lançarem um único teste.

Para construir esse guia, os pesquisadores buscaram uma ampla gama de informações existentes. Eles começaram pesquisando estudos especificamente sobre ética em experimentação contínua e online, mas encontraram muito pouco escrito sobre o assunto. Percebendo que o problema era grande demais para ser resolvido apenas com esses poucos artigos, eles ampliaram sua busca. Eles buscaram regras éticas de campos relacionados, como inteligência artificial, ciência da computação geral e até pesquisa médica. Leram códigos de conduta, diretrizes técnicas e artigos acadêmicos para encontrar temas comuns. Dessa coleção massiva de fontes, identificaram dezesseis princípios éticos fundamentais, como honestidade, justiça e respeito pela capacidade de uma pessoa de escolher por si mesma. Em seguida, aprofundaram-se para encontrar quarenta e oito maneiras específicas pelas quais esses princípios são violados no mundo real. Por exemplo, uma violação pode ser esconder o verdadeiro propósito de um teste de um usuário, ou projetar um sistema que engana as pessoas para que tomem decisões que sejam ruins para elas.

Uma vez listados os problemas, os pesquisadores encontraram cinquenta e três maneiras de resolvê-los. Eles não os deixaram apenas como uma lista aleatória; eles conectaram todos eles. Mostraram qual solução específica corrige qual problema específico e como essa solução apoia o princípio ético subjacente. Isso criou um mapa estruturado de conhecimento. É uma ferramenta que diz: "Se você vir este problema, aqui está a ação específica que deve tomar e aqui está o valor que ela protege". Este mapa é a base para sua principal contribuição, uma nova forma de pensar sobre esses testes chamada Modelo Cactus.

O Modelo Cactus é projetado para ajudar as pessoas responsáveis por esses experimentos a tomar melhores decisões. O nome vem da ideia de um cacto, que é uma planta resistente que sobrevive em condições adversas tendo uma camada externa protetora. Da mesma forma, o modelo fornece uma estrutura de proteção para a tomada de decisão ética no mundo acelerado e de alta pressão do desenvolvimento de software. Ele não diz exatamente o que uma equipe deve fazer, mas oferece uma maneira passo a passo de refletir sobre as consequências de suas escolhas. O modelo é construído sobre quatro camadas que trabalham juntas.

A primeira camada trata de olhar de perto para o experimento para encontrar potenciais problemas. A equipe pergunta: "O que pode dar errado?". Eles usam o mapa de problemas éticos para verificar seu design. Eles podem perguntar se o teste é transparente, se trata todos os usuários de forma justa ou se respeita a liberdade do usuário de dizer não. Eles avaliam o quão provável é que um problema ocorra e quantas pessoas isso pode afetar. Esta etapa transforma preocupações vagas em questões específicas e identificáveis.

A segunda camada trata de pesar as consequências. Aqui, a equipe olha para os problemas encontrados e pergunta: "Por que poderíamos querer ignorá-los?". Frequentemente, há uma razão comercial, como economizar tempo ou ganhar mais dinheiro, que tenta uma equipe a pular as salvaguardas éticas. O modelo força a equipe a escrever essa tentação e, em seguida, compará-la diretamente com o dano que ela poderia causar. Eles observam o impacto na confiança dos usuários, sua privacidade e seu bem-estar. Esta etapa garante que a decisão de prosseguir não seja apenas um sentimento intuitivo, mas uma escolha fundamentada onde as compensações são claras.

A terceira camada trata de tomar uma ação. Uma vez que a equipe pesou os riscos e os benefícios, eles decidem o que fazer. Eles podem optar por realizar o experimento conforme planejado, alterar o design para corrigir os problemas ou cancelá-lo inteiramente. Se decidirem prosseguir, o modelo os guia para escolher soluções específicas de seu mapa para proteger os usuários. Por exemplo, se encontraram um risco de tratamento injusto, podem adicionar uma regra para garantir que todos os grupos de usuários sejam tratados igualmente. Esta etapa transforma seu raciocínio ético em mudanças concretas no software ou no processo de teste.

A camada final trata de aprender com a experiência. Após o término do experimento, a equipe olha para trás para ver o que aconteceu. Eles revisam as escolhas feitas e veem se suas previsões estavam corretas. Eles registram o que aprenderam para que, na próxima vez que realizarem um teste, possam fazê-lo melhor. Esta etapa é crucial porque transforma um único experimento em uma lição para toda a organização, ajudando-os a evitar os mesmos erros no futuro.

Os pesquisadores testaram este modelo com um exemplo do mundo real envolvendo um aplicativo de entrega que queria testar diferentes estratégias de preços. Eles mostraram como uma equipe poderia usar o modelo para perceber que alterar os preços para diferentes usuários poderia parecer injusto ou confuso. Ao seguir as camadas, a equipe percebeu que precisava ser mais honesta sobre como os preços eram definidos e garantir que usuários vulneráveis não fossem visados injustamente. Eles então usaram as soluções específicas de seu mapa para ajustar seu plano, adicionando explicações claras para os usuários e estabelecendo limites sobre quem poderia fazer parte do teste. Este exemplo mostrou que o modelo funciona não apenas para testes individuais, mas para famílias de testes que ocorrem ao mesmo tempo, permitindo que as equipes apliquem os mesmos padrões éticos em muitos projetos diferentes sem começar do zero toda vez.

O estudo conclui que, embora as ferramentas para realizar esses experimentos sejam poderosas, as ferramentas para guiá-los eticamente têm estado ausentes. Os pesquisadores forneceram um corpo de conhecimento e um modelo de pensamento para preencher essa lacuna. Eles enfatizam que isto não é uma solução final que resolve todos os dilemas éticos para sempre. Em vez disso, é um ponto de partida que torna o invisível visível. Dá às equipes de software uma maneira de falar sobre ética na mesma linguagem que usam para código e dados. Ao tornar o processo de raciocínio ético claro e estruturado, o modelo ajuda a garantir que o impulso para a inovação não venha à custa das pessoas que utilizam a tecnologia. O trabalho sugere que, com a estrutura certa, as empresas podem continuar aprendendo com seus usuários e, ao mesmo tempo, tratá-los com a dignidade e o respeito que merecem.