Multi-Agent LLMs as Ethics Advocates for AI-Based Systems

Imagina que estás construyendo un robot, pero no un robot cualquiera—uno que ayuda a los médicos a diagnosticar enfermedades, decide quién recibe un préstamo o traduce la lengua de señas para las personas sordas. Antes de presionar el botón de "inicio", tienes que escribir un libro de reglas. Este libro de reglas se llama "ingeniería de requisitos". Es como el plano de una casa; si el plano dice "poner una ventana aquí", el constructor pone una ventana allí. Pero, ¿qué pasa si el plano olvida decir: "Asegúrese de que la ventana no sea tan grande que deje entrar un huracán"? En el mundo de la Inteligencia Artificial (IA), esas reglas faltantes se llaman "requisitos éticos". Son las instrucciones que le dicen a la IA que sea justa, transparente y amable, en lugar de sesgada o reservada.

El problema es que escribir estas reglas éticas es difícil. Por lo general, requiere una gran reunión con muchas personas diferentes—ingenieros, abogados, miembros de la comunidad—que discuten y proponen ideas durante horas. Es lento, costoso y, a veces, debido a que todos están cansados, las reglas éticas más importantes se olvidan. Este artículo plantea una gran pregunta: ¿Podemos usar un equipo de cerebros informáticos súper inteligentes, llamados Modelos de Lenguaje Extensos (LLM), para actuar como un "vigilante moral" y ayudar a escribir estas reglas más rápido? Piensa en ello como contratar a un equipo de detectives de IA para que revisen el plano de tu robot y griten: "¡Oye, olvidaste verificar si esto es justo!" antes de que siquiera empieces a construirlo.

El Equipo de Detectives de IA

Los investigadores, Asma Yamani, Malak Baslyman y Moataz Ahmed, construyeron un sistema que llaman MALEA (Multi-Agent LLM Ethics-Advocate). En lugar de pedirle a una sola computadora que haga todo el pensamiento, crearon un equipo virtual de cuatro agentes de IA, cada uno con un trabajo específico, trabajando juntos como un grupo de amigos editando una historia.

Primero, está el Ingeniero de Requisitos, que toma una descripción simple de un sistema (como "una aplicación que encuentra reseñas falsas") e intenta escribir las reglas iniciales. Luego, un agente de Control de Calidad actúa como un editor estricto, verificando si las reglas son claras y tienen sentido. Después viene la estrella del espectáculo: el Defensor de la Ética. El único trabajo de este agente es mirar las reglas y decir: "Espera, ¿es esto justo? ¿Qué pasa con la privacidad? ¿Qué pasa si alguien sale herido?". Finalmente, un Asistente de Documentación escribe todo de forma ordenada.

Estos agentes no solo trabajan en línea; hablan entre sí en un bucle. El Ingeniero escribe una regla, el agente de Calidad corrige la gramática, el agente de Ética critica la moralidad y el Ingeniero vuelve a corregirla. Se pasan la pelota de un lado a otro hasta que todos están de acuerdo en que las reglas son buenas. Los investigadores probaron este equipo en dos escenarios del mundo real: un sistema diseñado para detectar reseñas falsas en línea escritas en árabe, y una aplicación que traduce la Lengua de Señas Saudita a texto.

Lo que el equipo encontró

Cuando los investigadores compararon su equipo de IA con un experto humano y una sola computadora de IA, los resultados fueron una mezcla de "¡Guau!" y "Ups".

En el caso del Detector de Reseñas Falsas, el experto humano encontró 8 reglas éticas en una reunión de 30 minutos. La computadora de IA única encontró unas 6 de ellas (75% de recuperación), pero el equipo MALEA encontró 7 de ellas (87.5% de recuperación). El equipo de IA fue mejor capturando los errores del humano. Por ejemplo, el humano pasó por alto una regla sobre el seguimiento de "falsos positivos" (cuando una reseña real es marcada erróneamente como falsa), pero el equipo de IA añadió un requisito para informes trimestrales para rastrear estos errores.

En el escenario de la Aplicación de Lengua de Señas, el experto humano encontró 13 reglas. La IA única encontró alrededor de 8 (62%), mientras que el equipo MALEA encontró cerca de 7 (54%). Aquí, el humano hizo un trabajo ligeramente mejor al capturar detalles técnicos específicos, como la necesidad de un tiempo de respuesta de menos de 5 segundos. Sin embargo, el equipo de IA fue un maestro en añadir nuevas ideas que el humano no había pensado. El equipo de IA sugirió cosas como "anonimización auditada" (ocultar las identidades de los usuarios de una manera que pueda ser verificada) y estándares de cifrado específicos (como TLS 1.3) que el humano pasó por alto por completo.

El artículo sugiere que el equipo de IA es excelente para lanzar una red amplia de ideas éticas y hacer que las reglas vagas sean muy específicas. Por ejemplo, en lugar de solo decir "mantener los datos seguros", el equipo de IA escribió "usar cifrado AES-256". Pero, el artículo también advierte que la IA no es perfecta. A veces pierde los matices culturales específicos o se equivoca con los números. En una ejecución, la IA notó que las mujeres en Arabia Saudita usan diferentes tipos de coberturas para la cabeza y sugirió que los datos de entrenamiento deberían incluir números específicos de videos para cada tipo. Pero en una ejecución diferente, olvidó este detalle por completo. Esto muestra que la IA es un poco como un escritor creativo que a veces recuerda un detalle y otras veces lo olvida.

El Veredicto: Un Asistente Útil, No un Reemplazo

La conclusión principal es que este sistema multi-agente es una herramienta poderosa para obtener un "primer borrador" de las reglas éticas rápidamente. Puede generar más ideas y ser más específico que una sola computadora, y a menudo detecta cosas que los humanos podrían pasar por alto en una reunión corta. Sin embargo, los investigadores son muy claros: esto no reemplaza a los humanos.

La IA es excelente para sugerir, pero necesita que un humano diga: "Sí, esa es una buena idea", o "No, eso no encaja con nuestra cultura". El sistema incluso deja pequeños "marcadores de posición" (como [INSERTAR NÚMERO AQUÍ]) para recordar a los ingenieros que deben completar los detalles específicos. El artículo argumenta que no debemos intentar automatizar la ética por completo; en su lugar, debemos usar estos equipos de IA para acelerar el proceso, de modo que los humanos puedan dedicar más tiempo a discutir las preguntas difíciles e importantes en lugar de solo escribir las reglas básicas.

En resumen, el artículo sugiere que un equipo de agentes de IA puede actuar como un fantástico "compañero de lluvia de ideas morales", ayudándonos a construir sistemas de IA que sean más seguros y justos, pero solo si mantenemos a un humano en el proceso para tomar la decisión final.