Multi-Agent LLMs as Ethics Advocates for AI-Based Systems

Imagine que você está construindo um robô, mas não um robô qualquer — um que ajuda médicos a diagnosticar doenças, decide quem recebe um empréstimo ou traduz a língua de sinais para surdos. Antes de apertar o botão "iniciar", você precisa escrever um livro de regras para ele. Esse livro de regras é chamado de "engenharia de requisitos". É como a planta de uma casa; se a planta diz "coloque uma janela aqui", o construtor coloca uma janela lá. Mas e se a planta esquecer de dizer: "Certifique-se de que a janela não seja tão grande que deixe entrar um furacão"? No mundo da Inteligência Artificial (IA), essas regras ausentes são chamadas de "requisitos éticos". São as instruções que dizem à IA para ser justa, transparente e gentil, em vez de tendenciosa ou secreta.

O problema é que escrever essas regras éticas é difícil. Geralmente exige uma grande reunião com muitas pessoas diferentes — engenheiros, advogados, membros da comunidade — para discutir e fazer brainstorm por horas. É lento, caro e, às vezes, porque todos estão cansados, as regras éticas mais importantes são esquecidas. Este artigo faz uma grande pergunta: Podemos usar uma equipe de cérebros de computador superinteligentes, chamados Modelos de Linguagem de Grande Escala (LLMs), para agir como um "vigia moral" e ajudar a escrever essas regras mais rápido? Pense nisso como contratar uma equipe de detetives de IA para olhar a planta do seu robô e gritar: "Ei, você esqueceu de verificar se isso é justo!" antes mesmo de começar a construção.

A Equipe de Detetives de IA

Os pesquisadores, Asma Yamani, Malak Baslyman e Moataz Ahmed, construíram um sistema que chamam de MALEA (Multi-Agent LLM Ethics-Advocate). Em vez de pedir a um único computador para fazer todo o pensamento, eles criaram uma equipe virtual de quatro agentes de IA, cada um com um trabalho específico, trabalhando juntos como um grupo de amigos editando uma história.

Primeiro, há o Engenheiro de Requisitos, que pega uma descrição simples de um sistema (como "um aplicativo que encontra avaliações falsas") e tenta escrever as regras iniciais. Em seguida, um agente de Garantia de Qualidade atua como um editor rigoroso, verificando se as regras são claras e fazem sentido. Depois vem a estrela do show: o Defensor da Ética. O único trabalho deste agente é olhar para as regras e dizer: "Espere, isso é justo? E a privacidade? E se alguém se machucar?". Por fim, um Assistente de Documentação escreve tudo de forma organizada.

Esses agentes não trabalham apenas em linha; eles conversam entre si em um ciclo. O Engenheiro escreve uma regra, o Agente de Qualidade corrige a gramática, o Agente de Ética critica a moralidade e o Engenheiro volta para corrigir. Eles continuam passando a bola um para o outro até que todos concordem que as regras são boas. Os pesquisadores testaram essa equipe em dois cenários do mundo real: um sistema projetado para detectar avaliações online falsas escritas em árabe, e um aplicativo que traduz a Língua de Sinais Saudita para texto.

O Que a Equipe Descobriu

Quando os pesquisadores compararam sua equipe de IA com um especialista humano e um único computador de IA, os resultados foram uma mistura de "Uau!" e "Ops!".

No caso do Detector de Avaliações Falsas, o especialista humano encontrou 8 regras éticas em uma reunião de 30 minutos. O computador de IA único encontrou cerca de 6 delas (75% de recall), mas a equipe MALEA encontrou 7 delas (87,5% de recall). A equipe de IA foi melhor em capturar os erros do humano. Por exemplo, o humano perdeu uma regra sobre o rastreamento de "falsos positivos" (quando uma avaliação real é erroneamente marcada como falsa), mas a equipe de IA adicionou um requisito para relatórios trimestrais para rastrear esses erros.

No cenário do Aplicativo de Língua de Sinais, o especialista humano encontrou 13 regras. A IA única encontrou cerca de 8 (62%), enquanto a equipe MALEA encontrou cerca de 7 (54%). Aqui, o humano na verdade fez um trabalho ligeiramente melhor ao capturar detalhes técnicos específicos, como a necessidade de um tempo de resposta inferior a 5 segundos. No entanto, a equipe de IA foi mestre em adicionar novas ideias que o humano não havia pensado. A equipe de IA sugeriu coisas como "anonimização auditada" (esconder identidades de usuários de uma forma que possa ser verificada) e padrões de criptografia específicos (como TLS 1.3) que o humano esqueceu inteiramente.

O artigo sugere que a equipe de IA é excelente em fazer um brainstorming de uma ampla rede de ideias éticas e tornar regras vagas muito específicas. Por exemplo, em vez de apenas dizer "mantenha os dados seguros", a equipe de IA escreveu "use criptografia AES-256". Mas, o artigo também alerta que a IA não é perfeita. Às vezes, ela perde nuances culturais específicas ou erra os números. Em uma execução, a IA notou que as mulheres na Arábia Saudita usam diferentes tipos de coberturas de cabeça e sugeriu que os dados de treinamento incluíssem números específicos de vídeos para cada tipo. Mas, em uma execução diferente, ela esqueceu esse detalhe inteiramente. Isso mostra que a IA é um pouco como um escritor criativo que às vezes lembra de um detalhe e às vezes o esquece.

O Veredito: Um Assistente Útil, Não uma Substituição

A principal conclusão é que este sistema multiagente é uma ferramenta poderosa para obter um "primeiro rascunho" de regras éticas rapidamente. Ele pode gerar mais ideias e ser mais específico do que um único computador, e frequentemente captura coisas que os humanos podem negligenciar em uma reunião curta. No entanto, os pesquisadores são muito claros: isso não substitui os humanos.

A IA é ótima para sugerir, mas precisa de um humano para dizer: "Sim, essa é uma boa ideia" ou "Não, isso não se ajusta à nossa cultura". O sistema até deixa pequenos "espaços reservados" (como [INSERIR NÚMERO AQUI]) para lembrar os engenheiros de que eles precisam preencher os detalhes específicos. O artigo argumenta que não devemos tentar automatizar a ética completamente; em vez disso, devemos usar essas equipes de IA para acelerar o processo, para que os humanos possam gastar mais tempo discutindo as questões difíceis e importantes, em vez de apenas escrever as regras básicas.

Em resumo, o artigo sugere que uma equipe de agentes de IA pode atuar como um fantástico "parceiro de brainstorming moral", ajudando-nos a construir sistemas de IA que sejam mais seguros e justos, mas apenas se mantivermos um humano no controle para tomar a decisão final.