💬 NLP

Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale

Este artigo introduz um novo framework para auditoria de caixa-preta de algoritmos de personalização usando agentes de IA generativa com personas fixas para permitir uma análise contrafactual escalável de como os atributos do usuário influenciam a entrega de conteúdo, demonstrando, por meio de um estudo em larga escala no X, que o algoritmo da plataforma amplifica conteúdo polarizador e responde de forma diferente a sinais demográficos dependendo da ideologia do usuário.

Autores originais: Alessandro Morosini, Sarah H. Cen, Andrew Ilyas, Hedi Driss, Aleksander Mądry, Chara Podimata

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alessandro Morosini, Sarah H. Cen, Andrew Ilyas, Hedi Driss, Aleksander Mądry, Chara Podimata

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma biblioteca gigante e invisível onde os livros nas prateleiras mudam dependendo de quem você é. Se você parece um jovem, vê livros diferentes do que se parecer uma pessoa mais velha. Se você parece viver em uma cidade, vê livros diferentes do que se parecer viver no campo. É assim que os algoritmos das redes sociais funcionam: eles selecionam o que você vê com base no seu perfil e no seu comportamento passado.

O problema é que essas bibliotecas são "caixas pretas". Não podemos ver o livro de regras do bibliotecário. Não podemos perguntar: "Por que você me mostrou isso?". Só podemos observar o que acontece.

Este artigo apresenta uma nova e inteligente maneira de espiar por trás da cortina usando agentes de IA (programas de computador movidos por IA avançada) em vez de humanos reais.

O Problema dos Métodos Antigos

Anteriormente, pesquisadores tentavam auditar essas bibliotecas de duas maneiras, ambas com falhas:

Humanos Reais: Eles contratavam pessoas reais para usar o aplicativo. Isso era realista, mas caro, difícil de controlar e impossível de escalar. Você não pode perguntar facilmente: "O que aconteceria se este jovem de 25 anos tivesse, na verdade, 55?" sem encontrar um novo humano.
Bots Programados (Sock Puppets): Eles criavam contas falsas controladas por scripts de computador simples. Eram baratos e escaláveis, mas eram "planos". Agiam como robôs seguindo uma lista rígida de regras (ex: "Se vir um gato, clique em curtir"). Eles não pensavam nem reagiam naturalmente, então a biblioteca não os tratava como pessoas reais.

A Nova Solução: "Atores de IA"

Os autores criaram uma estrutura usando agentes de IA Generativa. Pense neles não como robôs, mas como atores em uma peça.

O Roteiro (Persona): Antes de a peça começar, cada ator recebe um roteiro de personagem detalhado. Esse roteiro define quem eles são: idade, gênero, localização, educação e crenças políticas. Este roteiro é baseado em dados reais do Censo dos EUA e do Pew Research Center.
A Performance: Quando o ator vê uma postagem na tela, a IA "pensa" sobre ela com base no roteiro do personagem e decide o que fazer (curtir, seguir, ler ou ignorar). Não é uma regra rígida; é uma reação natural.
O Experimento: Os pesquisadores criaram 1.120 desses atores. Eles os agruparam em 14 "tipos de personagem" (personas). Para cada tipo de personagem, criaram múltiplas cópias (réplicas).
- O Diferencial: Todas as cópias do "Personagem A" agem exatamente da mesma forma. No entanto, os pesquisadores mudaram apenas um detalhe visível para algumas delas. Talvez uma cópia diga que tem 25 anos, enquanto outra diga que tem 55. Talvez uma diga que vive em Nova York, outra no Texas.

Essa configuração permite que os pesquisadores façam uma pergunta poderosa: "Se a mesma pessoa (com o mesmo comportamento) mudasse sua idade ou localização, a biblioteca mostraria livros diferentes para ela?"

O Estudo de Caso: A Eleição de 2024

A equipe implantou esses 1.120 atores de IA na rede social X (antigo Twitter) logo após a eleição presidencial dos EUA de 2024. Eles observaram como o feed "Para Você" da plataforma (o feed algorítmico) se comparava ao feed "Seguindo" (o cronológico).

Aqui está o que encontraram:

1. O Algoritmo Ama Drama e Visões de Direita
Comparado à lista cronológica padrão, o feed "Para Você" mostrou significativamente mais:

Conteúdo tóxico: Postagens maldosas ou raivosas.
Conteúdo polarizador: Postagens que colocam grupos uns contra os outros.
Conteúdo político: Especificamente, conteúdo com inclinação para a direita.
Surpresa: Ele não amplificou significativamente o conteúdo de esquerda. Na verdade, para usuários que pendiam à direita, o algoritmo suprimiu ativamente o conteúdo de esquerda.

2. A "Câmara de Eco" é Assimétrica
O algoritmo não mostrou apenas mais conteúdo de direita para todo mundo. Ele tratou diferentes usuários de formas diferentes:

Usuários de esquerda viram um aumento massivo de conteúdo tóxico (+80% mais do que a linha de base).
Usuários de direita viram um aumento de conteúdo de direita, mas seu conteúdo tóxico não mudou muito.
Resultado: Usuários de direita foram colocados em uma bolha unilateral onde visões opostas eram escondidas, enquanto usuários de esquerda foram inundados com raiva e toxicidade.

3. Demografia Importa, Mas é Complicado
Os pesquisadores testaram se mudar a idade, o gênero ou a localização visíveis de um usuário mudava o que ele via.

O Resultado Médio: Se você olhar para todos os usuários juntos, mudar esses detalhes não pareceu importar muito. O efeito médio foi próximo de zero.
A História Real: Quando olharam para tipos de personagens específicos, os resultados foram selvagens. Mudar um sinal (como a idade) poderia fazer um personagem ver mais conteúdo tóxico, mas fazer um outro personagem ver menos.
A Metáfora: Imagine um termostato que não apenas aumenta ou diminui o calor com base na temperatura do quarto. Em vez disso, ele aumenta o calor para algumas pessoas e diminui para outras com base em quem elas são. Se você medir apenas a temperatura "média" de toda a casa, pode pensar que o termostato não está funcionando. Mas se você olhar cada quarto, verá que ele está fazendo coisas muito específicas e diferentes.

Por Que Isso Importa

O artigo conclui que não podemos apenas olhar para resultados "médios" ao auditar algoritmos. Se tirarmos a média dos dados, perderemos o fato de que o algoritmo trata diferentes grupos de pessoas de maneiras completamente distintas.

Ao usar esses "atores de IA", os pesquisadores agora podem realizar experimentos controlados para ver exatamente como um algoritmo reage a traços específicos, sem a necessidade de recrutar milhares de humanos reais ou depender de bots programados e simplórios. É uma nova ferramenta para entender as regras invisíveis que moldam o que vemos online.

Resumo Técnico: Usando Agentes de IA para Automatizar Auditorias de Caixa-Preta de Algoritmos de Personalização em Escala

1. Declaração do Problema

Auditar algoritmos de personalização em plataformas como redes sociais, mecanismos de busca e chatbots é cada vez mais difícil devido à natureza de "caixa-preta" desses sistemas. Auditores independentes carecem de acesso aos pesos internos do modelo, dados de treinamento ou logs de usuário. Além disso, os sistemas de personalização criam um ciclo de feedback complexo onde as recomendações de conteúdo dependem tanto de atributos estáticos do usuário (ex: idade, gênero) quanto de históricos de interação dinâmicos.

As metodologias de auditoria existentes enfrentam um trade-off crítico:

Auditorias baseadas em humanos: Oferecem alta validade ecológica, mas são dispendiosas, difíceis de escalar e sofrem com a falta de controle sobre tipos de usuários e vieses pré-existentes, tornando a inferência causal difícil.
Auditorias de "sock-puppet" (contas sintéticas): Usam contas sintéticas para escalar, mas as implementações tradicionais dependem de comportamentos baseados em scripts e regras. Esses bots "planos" falham em mimetizar a riqueza da interação humana e frequentemente confundem atributos de usuário com comportamento (ex: o script de um bot muda com base na idade atribuída), impedindo o isolamento de efeitos causais.

O desafio central é desacoplar os atributos do usuário do comportamento do usuário para realizar uma auditoria contrafactual: determinar como uma plataforma responde a sinais demográficos específicos enquanto mantém a política comportamental do usuário constante.

2. Metodologia

Os autores propõem um framework para auditoria de caixa-preta usando agentes de IA Generativa (GenAI) como motores comportamentais para contas sintéticas.

Estrutura Central

Agentes Baseados em Persona: Cada agente é instanciado com uma "persona" fixa definida por um prompt. Esta persona codifica tanto atributos demográficos (idade, gênero, localização, raça, educação) quanto uma ideologia política latente (baseada na Tipologia Política do Pew Research).
Política Comportamental Fixa: O comportamento do agente é governado por um prompt de Large Language Model (LLM) que atua como uma política fixa ( $\pi$ ). O agente raciocina sobre o conteúdo e escolhe ações (curtir, seguir, ler respostas, ignorar) autonomamente com base nesta persona.
Design Contrafactual: Crucialmente, a política comportamental é mantida constante entre as "réplicas" de uma mesma persona. Os pesquisadores podem, então, perturbar os sinais visíveis à plataforma (ex: mudar a idade ou localização exibidas) através de diferentes contas, mantendo a política comportamental subjacente idêntica. Isso permite a estimativa da resposta de sinal condicionada à política: a diferença nos resultados esperados quando a mesma política comportamental é exposta a diferentes sinais demográficos.

Implementação Experimental (Estudo de Caso)

Plataforma: X (antigo Twitter).
Cronograma: 5 a 28 de novembro de 2024 (imediatamente após a eleição presidencial dos EUA de 2024).
Escala: 1.120 contas sintéticas implantadas.
Personas: 14 personas distintas abrangendo uma gama de perfis demográficos e ideológicos (fundamentadas em dados do Censo dos EUA e do Pew).
Condições: Cada persona foi replicada em 80 contas, atribuídas aleatoriamente a quatro condições:
1. Baseline: Perfil padrão.
2. Contrafactual 1: Localização perturbada.
3. Contrafactual 2: Idade perturbada.
4. Contrafactual 3: Gênero perturbado.
Interação: Os agentes navegaram tanto pelo feed "Para Você" (algorítmico) quanto pelo feed "Seguindo" (cronológico). Eles interagiram com o conteúdo selecionando ações baseadas no raciocínio do LLM, criando um ciclo de feedback realista sem postar conteúdo original (para minimizar o impacto nos usuários reais).
Dados: Mais de 200.000 exposições de conteúdo foram coletadas.

3. Medição e Estimativa

O estudo foca em dois objetivos analíticos primários:

Análise de Amplificação: Comparar o feed "Para Você" com o feed "Seguindo" para medir a amplificação algorítmica de tipos específicos de conteúdo (Tóxico, Político, Polarizador, de Inclinação Direita/Esquerda, de Alto Alcance). A métrica utilizada é a Razão de Amplificação, calculada como a diferença percentual relativa nas taxas de exposição de conteúdo entre os dois feeds.
Análise Contrafactual: Estimar o efeito causal das perturbações demográficas na exposição de conteúdo. Os autores utilizam uma métrica de "alavancagem algorítmica" aditiva (diferença nas taxas de exposição entre os feeds) e empregam modelos de regressão para estimar:
- Efeitos de Tratamento Agrupados (Pooled): Efeitos médios das mudanças demográficas em todas as personas.
- Efeitos de Tratamento Heterogêneos: Efeitos específicos por persona, testando se a resposta do algoritmo aos sinais varia conforme o tipo de usuário.

A classificação de conteúdo (toxicidade, inclinação política, polarização) foi realizada por meio de um pipeline customizado baseado em LLM com prompting de cadeia de pensamento (chain-of-thought), validado contra dados rotulados por humanos.

4. Principais Resultados

Amplificação de Tipos de Conteúdo

Achados Agregados: O feed "Para Você" amplifica significativamente o conteúdo tóxico (+39,2%), polarizador (+32,3%), político (+14,2%) e de inclinação à direita (+23,3%) em comparação ao feed cronológico. O conteúdo de inclinação à esquerda não mostrou amplificação significativa (-6,1%).
Assimetria Ideológica: Quando estratificado pela ideologia do usuário, a assimetria se intensificou:
- Conteúdo Tóxico: Amplificado em +80,3% para usuários de inclinação à esquerda, mas não apresentou efeito significativo para usuários de inclinação à direita.
- Conteúdo de Inclinação à Direita: Amplificado para ambos os grupos, mas o conteúdo de inclinação à esquerda foi ativamente suprimido (-17,0%) para usuários de direita, criando uma câmara de eco assimétrica.
- Conteúdo de Alto Alcance: Amplificado para usuários de direita (+38,4%), mas desamplificado para usuários de esquerda (-11,0%).

Análise Contrafactual (Sinais Demográficos)

Efeitos Agrupados (Pooled): Ao fazer a média entre todas as personas, as perturbações demográficas (idade, gênero, localização) tiveram efeitos sistemáticos majoritariamente nulos na alavancagem algorítmica. Apenas dois coeficientes foram significativos ao nível de 5% (idade mais avançada aumentou a alavancagem de conteúdo tóxico; localização urbana reduziu a alavancagem de conteúdo polarizador), e nenhum deles sobreviveu às correções de testes de hipóteses múltiplas.
Efeitos Heterogêneos: Apesar dos resultados agrupados nulos, testes F conjuntos rejeitaram a hipótese de efeitos homogêneos para todos os resultados. A resposta do algoritmo aos sinais demográficos é altamente dependente da persona.
- A mesma perturbação de sinal (ex: mudar a idade) pode amplificar o conteúdo para uma persona enquanto o desamplifica para outra.
- Essa heterogeneidade explica por que auditorias agregadas falham em detectar discriminação presente em subgrupos específicos.

5. Significância e Contribuições

O artigo reivindica três contribuições principais:

Inovação Metodológica: Estabelece agentes baseados em GenAI como uma nova ferramenta para auditoria algorítmica. Ao desacoplar políticas comportamentais fixas de sinais variáveis visíveis à plataforma, o framework permite uma auditoria contrafactual rigorosa que anteriormente era inviável com bots baseados em scripts ou estudos humanos.
Evidência Empírica sobre o X: O estudo fornece evidências em larga escala de que o algoritmo do X amplifica conteúdo tóxico, polarizador e de inclinação à direita. Crucialmente, revela que essa amplificação não é uniforme; ela cria ambientes de informação assimétricos onde usuários de direita são protegidos de visões opostas, enquanto usuários de esquerda são desproporcionalmente expostos a conteúdo tóxico.
Insight sobre Heterogeneidade Algorítmica: O trabalho demonstra que métricas de auditoria agregadas podem ser enganosas. A ausência de efeitos demográficos médios não implica que o algoritmo ignore demografia; em vez disso, ele responde a elas de formas complexas e específicas por persona, que se anulam no agregado. Isso destaca a necessidade de ir além de métricas agregadas para detectar discriminação em nível de subgrupo.

Os autores mantêm um tom modesto em relação às limitações, reconhecendo que agentes de LLM carecem de experiência de vida humana e que o estudo foi conduzido em contas recém-criadas durante um período de alta saliência política. Eles enfatizam que seu framework é generalizável para outras plataformas e pode servir como uma ferramenta tanto para auditores independentes quanto para as próprias plataformas testarem mudanças algorítmicas.