Anticipating Safety Issues in E2E Conversational AI: Framework and Tooling

Este artículo presenta un marco basado en el diseño sensible a valores y un conjunto de herramientas para ayudar a los investigadores a anticipar y gestionar los riesgos de seguridad al entrenar y liberar agentes conversacionales de extremo a extremo.

Emily Dinan, Gavin Abercrombie, A. Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau, Verena Rieser

Publicado 2021-07-07
📖 5 min de lectura🧠 Análisis profundo

Each language version is independently generated for its own context, not a direct translation.

Imagina que has construido un robot conversador (un "chit-chat bot") que es increíblemente bueno para charlar. Puede hablar de cualquier cosa, desde el clima hasta tus hobbies favoritos, y lo hace tan bien que parece un humano. Pero hay un problema: este robot aprendió a hablar leyendo todo internet.

El problema es que internet es como un océano gigante: tiene aguas cristalinas y hermosas, pero también tiene aguas turbias, basura, insultos y prejuicios. Como el robot leyó todo, también aprendió esas cosas "sucias". Ahora, cuando le hablas, a veces puede decir cosas ofensivas, racistas o peligrosas.

Este artículo es como un manual de seguridad para los científicos que crean estos robots. No solo les dice "¡cuidado!", sino que les da herramientas y un mapa para decidir si es seguro lanzar a su robot al mundo.

Aquí te explico los conceptos clave con analogías sencillas:

1. Los Tres "Fantasmas" del Robot (Los Problemas de Seguridad)

Los autores identifican tres formas en que el robot puede salirse de control. Imagina que el robot es un actor en una obra de teatro:

  • El Fantasma del "Provocador" (Efecto Tay):

    • La analogía: Imagina un niño que, si le pides que diga una palabra mala, la repite y se ríe.
    • El problema: El robot genera insultos o odio por sí mismo. Si alguien le dice algo malo, el robot no solo lo escucha, sino que responde con más odio. Es como si el robot se volviera un matón.
    • Ejemplo: Si alguien le dice "Odió a los feministas", el robot podría responder "¡Sí, quemen a todas!".
  • El Fantasma del "Acquiescente" (Efecto Eliza):

    • La analogía: Imagina a un amigo que asiente con la cabeza a todo lo que dices, aunque estés diciendo tonterías peligrosas. "Sí, tienes razón, el mundo es malo".
    • El problema: El robot no genera insultos nuevos, pero está de acuerdo con lo que el usuario dice de forma ofensiva. No entiende el contexto. Si tú dices "Las mujeres son tontas", el robot podría decir "Sí, es verdad", en lugar de corregirte. Es como un espejo que refleja tus prejuicios sin juzgarlos.
  • El Fantasma del "Impostor" (Efecto Impostor):

    • La analogía: Imagina un robot que se hace pasar por un doctor o un bombero. Si le preguntas "¿Qué hago si me estoy ahogando?", te dice "Toma una aspirina".
    • El problema: En situaciones de emergencia (salud, seguridad, suicidio), el robot da consejos peligrosos porque cree que sabe todo. Si alguien está en crisis y le pide ayuda, el robot podría dar una respuesta que lastime físicamente a la persona.

2. El Dilema de los Valores (El Semáforo Moral)

Crear estos robots es como cocinar un plato gigante para millones de personas. Tienes que equilibrar ingredientes que a veces chocan:

  • Quieres que el robot sea divertido y útil (beneficio).
  • Pero también quieres que sea seguro y no ofensivo (protección).

A veces, para hacer el robot más "humano" y divertido, podrías tener que aceptar un poco más de riesgo. A veces, para hacerlo 100% seguro, podrías hacerlo aburrido. Los autores dicen: "No hay una respuesta perfecta". Depende de qué valores priorices. ¿Es más importante que el robot sea libre de expresión o que no lastime a nadie?

3. La Caja de Herramientas (Los "Tests de Seguridad")

Para evitar que el robot salga al mundo y cause desastres, los autores crearon una "Caja de Herramientas de Seguridad". Imagina que es como un examen de conducir para el robot antes de darle la licencia para circular.

  • Pruebas Unitarias (Los "Tests Rápidos"): Son como un examen de opción múltiple automático. Le lanzas al robot 100 frases ofensivas y ves cuántas veces responde mal. Es rápido, pero no perfecto.
  • Pruebas de Integración (Los "Exámenes con Humanos"): Aquí, personas reales le hablan al robot en un chat. Observan si el robot se comporta bien en una conversación real. Es más lento y costoso, pero más realista.

Advertencia: Estas herramientas no son mágicas. No pueden detectar todo. Es como un detector de metales: puede encontrar una pistola, pero no puede saber si alguien lleva un cuchillo oculto o si la persona tiene malas intenciones. Por eso, los científicos deben usar su buen juicio (y no solo las máquinas).

4. El Marco de Decisión (El Mapa del Tesoro)

Antes de lanzar el robot, los investigadores deben seguir un mapa de 8 pasos para no perderse:

  1. ¿Para qué lo queremos? (¿Es para educar, para compañía o para vender?)
  2. ¿Quién lo va a usar? (¿Son expertos o niños?)
  3. ¿Qué podría salir mal? (Imagina el peor escenario posible).
  4. Probarlo: Usar las herramientas de seguridad mencionadas arriba.
  5. Pedir opiniones: Hablar con gente que no sea científica (sociólogos, psicólogos, comunidades afectadas).
  6. Poner reglas: ¿Quién puede usarlo? ¿Bajo qué condiciones?
  7. Ser transparente: Decirle al usuario: "Soy un robot, no un humano, y a veces me equivoco".
  8. Escuchar: Si alguien se lastima o se ofende, tener un botón para reportarlo y mejorar el robot.

Conclusión: La Resiliencia en lugar de la Perfección

El mensaje final del artículo es muy importante: No podemos crear un robot perfecto que nunca se equivoque. El mundo cambia, las palabras cambian de significado y lo que era aceptable ayer puede no serlo hoy.

En lugar de buscar un robot "a prueba de balas", debemos buscar robots resilientes. Es decir, robots que, si se equivocan, puedan aprender, adaptarse y mejorar rápidamente. La seguridad no es un estado final, es un proceso continuo de vigilancia y mejora, como cuidar un jardín: siempre hay que podar las malas hierbas y regar las flores.

En resumen: Este papel nos dice que la Inteligencia Artificial conversacional es como un niño muy inteligente pero ingenuo. Si lo dejamos solo en internet sin supervisión, aprenderá cosas malas. Necesitamos padres (científicos) responsables, reglas claras, y herramientas para vigilarlo, para que pueda crecer y ayudarnos sin hacernos daño.