Ethics in Online Software Experimentation: A Body of Knowledge and the Cactus Model

En el mundo digital, las empresas ajustan constantemente su software para hacerlo mejor, más rápido o más atractivo. Pueden cambiar el color de un botón, reorganizar un menú o probar una nueva forma de mostrar los precios. Para ver si estos cambios funcionan, a menudo realizan lo que se denominan experimentos en línea. En estas pruebas, personas reales utilizan el software sin saber siempre que forman parte de un estudio. Un método común es mostrar a un grupo de usuarios la versión A de una función y a otro grupo la versión B, para luego comparar cómo se comportan. Este enfoque ayuda a las empresas a aprender qué quiere la gente, pero también sitúa a los usuarios corrientes en una situación en la que sus elecciones y datos están siendo manipulados para probar una hipótesis. Si bien esta práctica impulsa la innovación, plantea una pregunta silenciosa pero seria: solo porque una empresa pueda realizar estas pruebas, ¿debería hacerlo? Y si lo hace, ¿cómo pueden asegurarse de no dañar a las personas que hacen posible el software?

Dos investigadores de Brasil se propusieron responder a estas preguntas analizando el lado ético de estas pruebas digitales. Observaron que, aunque muchas empresas realizan estos experimentos, las reglas sobre el trato justo a las personas suelen ser vagas, dispersas o ignoradas por completo. Los investigadores querían construir una guía clara que los equipos de software pudieran utilizar realmente. No se limitaron a enumerar ideas abstractas sobre lo correcto y lo incorrecto; en su lugar, recopilaron problemas específicos que ocurren durante estas pruebas y los vincularon con formas prácticas de solucionarlos. Su objetivo era crear un modelo (el Modelo Cactus) que ayudara a los expertos a reflexionar sobre las consecuencias morales de sus experimentos antes de lanzar siquiera una sola prueba.

Para construir esta guía, los investigadores consultaron una amplia gama de información existente. Comenzaron buscando estudios específicamente sobre la ética en la experimentación continua y en línea, pero encontraron muy poco escrito sobre el tema. Al darse cuenta de que el problema era demasiado grande para resolverlo solo con esos pocos artículos, ampliaron su búsqueda. Buscaron reglas éticas de campos relacionados como la inteligencia artificial, la informática general e incluso la investigación médica. Leyeron códigos de conducta, directrices técnicas y artículos académicos para encontrar temas comunes. De esta enorme colección de fuentes, identificaron dieciséis principios éticos clave, como la honestidad, la equidad y el respeto por la capacidad de una persona para elegir por sí misma. Luego profundizaron para encontrar cuarenta y ocho formas específicas en las que estos principios se violan en el mundo real. Por ejemplo, una violación podría ser ocultar el propósito real de una prueba a un usuario, o diseñar un sistema que engañe a las personas para que tomen decisiones que son perjudiciales para ellas.

Una vez que tuvieron la lista de problemas, los investigadores encontraron cincuenta y tres formas de resolverlos. No los dejaron simplemente como una lista aleatoria; los conectaron todos entre sí. Mostraron qué solución específica corrige qué problema específico y cómo esa solución respalda el principio ético subyacente. Esto creó un mapa de conocimiento estructurado. Es una herramienta que dice: "Si ves este problema, aquí está la acción específica que debes tomar, y aquí está el valor que protege". Este mapa es la base de su principal contribución, una nueva forma de pensar sobre estas pruebas llamada el Modelo Cactus.

El Modelo Cactus está diseñado para ayudar a las personas a cargo de estos experimentos a tomar mejores decisiones. El nombre proviene de la idea de un cactus, una planta resistente que sobrevive en condiciones adversas al tener una capa exterior protectora. De la misma manera, el modelo proporciona una estructura protectora para la toma de decisiones éticas en el mundo acelerado y de alta presión del desarrollo de software. No le dice a un equipo exactamente qué hacer, sino que les brinda una forma paso a paso de reflexionar sobre las consecuencias de sus elecciones. El modelo se construye sobre cuatro capas que trabajan en conjunto.

La primera capa consiste en observar de cerca el experimento para encontrar problemas potenciales. El equipo se pregunta: "¿Qué podría salir mal?". Utilizan el mapa de problemas éticos para revisar su diseño. Pueden preguntarse si la prueba es transparente, si trata a todos los usuarios de manera justa o si respeta la libertad del usuario para decir que no. Califican qué tan probable es que ocurra un problema y a cuántas personas podría afectar. Este paso convierte las preocupaciones vagas en problemas específicos e identificables.

La segunda capa trata de sopesar las consecuencias. Aquí, el equipo analiza los problemas encontrados y se pregunta: "¿Por qué podríamos querer ignorarlos?". A menudo, existe una razón de negocio, como ahorrar tiempo o ganar más dinero, que tienta a un equipo a saltarse las salvaguardas éticas. El modelo los obliga a escribir esa tentación y luego compararla directamente con el daño que podría causar. Observan el impacto en la confianza de los usuarios, su privacidad y su bienestar. Este paso asegura que la decisión de proceder no sea solo una sensación visceral, sino una elección razonada donde las compensaciones sean claras.

La tercera capa trata de tomar medidas. Una vez que el equipo ha sopesado los riesgos y los beneficios, decide qué hacer. Pueden elegir ejecutar el experimento según lo planeado, cambiar el diseño para solucionar los problemas o cancelarlo por completo. Si deciden proceder, el modelo los guía para elegir soluciones específicas de su mapa para proteger a los usuarios. Por ejemplo, si detectaron un riesgo de trato injusto, podrían añadir una regla para asegurar que todos los grupos de usuarios sean tratados por igual. Este paso convierte su razonamiento ético en cambios concretos en el software o en el proceso de prueba.

La capa final consiste en aprender de la experiencia. Después de que termina el experimento, el equipo analiza lo sucedido. Revisan las decisiones que tomaron y ven si sus predicciones fueron correctas. Escriben lo que aprendieron para que la próxima vez que realicen una prueba, puedan hacerlo mejor. Este paso es crucial porque convierte un experimento individual en una lección para toda la organización, ayudándoles a evitar los mismos errores en el futuro.

Los investigadores probaron este modelo con un ejemplo del mundo real que involucraba una aplicación de entrega que quería probar diferentes estrategias de precios. Mostraron cómo un equipo podría usar el modelo para detectar que cambiar los precios para diferentes usuarios podría percibirse como injusto o confuso. Al seguir las capas, el equipo se dio cuenta de que necesitaban ser más honestos sobre cómo se fijaban los precios y asegurar que los usuarios vulnerables no fueran blanco de ataques injustos. Luego utilizaron las soluciones específicas de su mapa para ajustar su plan, añadiendo explicaciones claras para los usuarios y estableciendo límites sobre quién podía formar parte de la prueba. Este ejemplo demostró que el modelo funciona no solo para pruebas individuales, sino para familias de pruebas que ocurren al mismo tiempo, permitiendo a los equipos aplicar los mismos estándares éticos a través de muchos proyectos diferentes sin tener que empezar de cero cada vez.

El estudio concluye que, si bien las herramientas para realizar estos experimentos son poderosas, las herramientas para guiarlos éticamente han estado ausentes. Los investigadores han proporcionado un cuerpo de conocimiento y un modelo de pensamiento para llenar ese vacío. Enfatizan que esto no es una solución definitiva que resuelva todos los dilemas éticos para siempre. En cambio, es un punto de partida que hace visible lo invisible. Les da a los equipos de software una forma de hablar de la ética en el mismo lenguaje que usan para el código y los datos. Al hacer que el proceso de razonamiento ético sea claro y estructurado, el modelo ayuda a asegurar que el impulso de la innovación no se produzca a costa de las personas que utilizan la tecnología. El trabajo sugiere que, con el marco adecuado, las empresas pueden seguir aprendiendo de sus usuarios y, al mismo tiempo, tratarlos con la dignidad y el respeto que merecen.