💬 NLP

Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale

Este artículo introduce un nuevo marco para la auditoría de caja negra de algoritmos de personalización utilizando agentes de IA generativa con personas fijas para permitir un análisis contrafactual escalable de cómo los atributos de los usuarios influyen en la entrega de contenido, demostrando a través de un estudio a gran escala en X que el algoritmo de la plataforma amplifica el contenido polarizante y responde de manera diferente a las señales demográficas dependiendo de la ideología del usuario.

Autores originales: Alessandro Morosini, Sarah H. Cen, Andrew Ilyas, Hedi Driss, Aleksander Mądry, Chara Podimata

Publicado 2026-07-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alessandro Morosini, Sarah H. Cen, Andrew Ilyas, Hedi Driss, Aleksander Mądry, Chara Podimata

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrando en una biblioteca gigante e invisible donde los libros en los estantes cambian dependiendo de quién seas. Si pareces una persona joven, ves libros diferentes que si pareces una persona mayor. Si pareces vivir en una ciudad, ves libros diferentes que si pareces vivir en el campo. Así es como funcionan los algoritmos de las redes sociales: curan lo que ves basándose en tu perfil y en tu comportamiento pasado.

El problema es que estas bibliotecas son "cajas negras". No podemos ver el libro de reglas del bibliotecario. No podemos preguntar: "¿Por qué me mostraste esto?". Solo podemos observar lo que sucede.

Este artículo presenta una nueva y astuta forma de mirar tras la cortina utilizando agentes de IA (programas informáticos impulsados por IA avanzada) en lugar de humanos reales.

El problema con los métodos antiguos

Anteriormente, los investigadores intentaban auditar estas bibliotecas de dos maneras, ambas con fallos:

Humanos reales: Contrataban a personas reales para usar la aplicación. Esto era realista, pero costoso, difícil de controlar e imposible de escalar. No puedes preguntar fácilmente: "¿Qué pasaría si este joven de 25 años tuviera en realidad 55 años?" sin tener que buscar a un nuevo humano.
Bots programados (Sock Puppets): Creaban cuentas falsas controladas por scripts informáticos simples. Eran baratos y escalables, pero eran "planos". Actuaban como robots siguiendo una lista estricta de reglas (por ejemplo, "Si ves un gato, dale a me gusta"). No pensaban ni reaccionaban de forma natural, por lo que la biblioteca no los trataba como a personas reales.

La nueva solución: "Actores de IA"

Los autores crearon un marco de trabajo utilizando agentes de IA generativa. Piensa en estos no como robots, sino como actores en una obra de teatro.

El guion (Persona): Antes de que comience la obra, a cada actor se le entrega un guño detallado de su personaje. Este guion define quiénes son: su edad, género, ubicación, educación y creencias políticas. Este guion se basa en datos reales del Censo de EE. UU. y del Pew Research Center.
La actuación: Cuando el actor ve una publicación en la pantalla, la IA "piensa" en ella basándose en el guion de su personaje y decide qué hacer (dar me gusta, seguir, leer o ignorar). No es una regla rígida; es una reacción natural.
El experimento: Los investigadores crearon 1,120 de estos actores. Los agruparon en 14 "tipos de personajes" (personas). Para cada tipo de personaje, crearon múltiples copias (réplicas).
- El giro: Todas las copias del "Personaje A" actúan exactamente de la misma manera. Sin embargo, los investigadores cambiaron un solo detalle visible para algunas de ellas. Tal vez una copia dice que tiene 25 años, mientras que otra dice que tiene 55. Tal vez una dice que vive en Nueva York y otra en Texas.

Esta configuración permite a los investigadores plantearse una pregunta poderosa: "Si la misma persona (con el mismo comportamiento) cambiara su edad o ubicación, ¿le mostraría la biblioteca libros diferentes?"

El caso de estudio: Las elecciones de 2024

El equipo desplegó estos 1,120 actores de IA en la plataforma de redes sociales X (anteriormente Twitter) justo después de las elecciones presidenciales de EE. UU. de 2024. Observaron cómo el feed "Para ti" de la plataforma (el feed algorítmico) se comparaba con el feed "Siguiendo" (el cronológico).

Esto es lo que encontraron:

1. El algoritmo ama el drama y las visiones de tendencia derecha
En comparación con la lista cronológica estándar, el feed "Para ti" mostró significativamente más:

Contenido tóxico: Publicaciones groseras o coléricas.
Contenido polarizante: Publicaciones que enfrentan a grupos entre sí.
Contenido político: Específicamente, contenido con tendencia hacia la derecha.
Sorpresa: No amplificó significativamente el contenido de tendencia izquierda. De hecho, para los usuarios que se inclinaban a la derecha, el algoritmo suprimió activamente el contenido de tendencia izquierda.

2. La "cámara de eco" es asimétrica
El algoritmo no solo mostró más contenido de derecha a todo el mundo. Trató a los diferentes usuarios de manera diferente:

Usuarios de tendencia izquierda: Vieron un aumento masivo de contenido tóxico (+80% más que la base).
Usuarios de tendencia derecha: Vieron un aumento de contenido de tendencia derecha, pero su contenido tóxico no cambió mucho.
Resultado: Los usuarios de tendencia derecha fueron puestos en una burbuja de un solo lado donde se ocultaban las opiniones opuestas, mientras que los usuarios de tendencia izquierda fueron inundados de ira y toxicidad.

3. La demografía importa, pero es complicado
Los investigadores probaron si cambiar la edad, el género o la ubicación visibles de un usuario cambiaba lo que veía.

El resultado promedio: Si observas a todos los usuarios en conjunto, cambiar estos detalles no parecía importar mucho. El efecto promedio era cercano a cero.
La verdadera historia: Cuando analizaron tipos de personajes específicos, los resultados fueron salvajes. Cambiar una señal (como la edad) podía hacer que un personaje viera más contenido tóxico, pero hacer que un otro personaje viera menos.
La metáfora: Imagina un termostato que no solo sube o baja la temperatura según la temperatura de la habitación. En su lugar, sube el calor para algunas personas y lo baja para otras basándose en quiénes son. Si solo mides la temperatura "promedio" de toda la casa, podrías pensar que el termostato no está funcionando en absoluto. Pero si miras cada habitación, ves que está haciendo cosas muy específicas y diferentes.

Por qué esto es importante

El artículo concluye que no podemos limitarnos a mirar los resultados "promedio" al auditar algoritmos. Si promediamos los datos, perdemos el hecho de que el algoritmo trata a diferentes grupos de personas de maneras completamente distintas.

Al utilizar estos "actores" de IA, los investigadores pueden ahora realizar experimentos controlados para ver exactamente cómo reacciona un algoritmo ante rasgos específicos, sin necesidad de reclutar a miles de humanos reales o depender de bots simples y programados. Es una nueva herramienta para comprender las reglas invisibles que moldean lo que vemos en línea.

Resumen Técnico: Uso de Agentes de IA para Automatizar Auditorías de Caja Negra de Algoritmos de Personalización a Escala

1. Planteamiento del Problema

La auditoría de algoritmos de personalización en plataformas como redes sociales, motores de búsqueda y chatbots es cada vez más difícil debido a la naturaleza de "caja negra" de estos sistemas. Los auditores independientes carecen habitualmente de acceso a los pesos internos del modelo, los datos de entrenamiento o los registros de usuario. Además, los sistemas de personalización crean un bucle de retroalimentación complejo donde las recomendaciones de contenido dependen tanto de atributos estáticos del usuario (p. ej., edad, género) como de historiales de interacción dinámicos.

Las metodologías de auditoría existentes enfrentan un compromiso crítico:

Auditorías basadas en humanos: Ofrecen una alta validez ecológica, pero son costosas, difíciles de escalar y sufren de una falta de control sobre los tipos de usuarios y los sesgos preexistentes, lo que dificulta la inferencia causal.
Auditorías de "sock-puppet" (títeres de calcetín): Utilizan cuentas sintéticas para escalar, pero las implementaciones tradicionales dependen de comportamientos basados en reglas y guiones. Estos bots "planos" no logran imitar la riqueza de la interacción humana y a menudo confunden los atributos del usuario con el comportamiento (p. ej., el guion de un bot cambia según su edad asignada), lo que impide el aislamiento de los efectos causales.

El desafío central es desacoplar los atributos del usuario del comportamiento del usuario para realizar una auditoría contrafactual: determinar cómo responde una plataforma a señales demográficas específicas manteniendo constante la política de comportamiento del usuario.

2. Metodología

Los autores proponen un marco para la auditoría de caja negra utilizando agentes de IA Generativa (GenAI) como motores de comportamiento para cuentas sintéticas.

Marco Central

Agentes Impulsados por Personas (Persona-Driven Agents): Cada agente es instanciado con una "persona" fija definida por un prompt. Esta persona codifica tanto atributos demográficos (edad, género, ubicación, raza, educación) como una ideología política latente (basada en la Tipología Política de Pew Research).
Política de Comportamiento Fija: El comportamiento del agente está gobernado por un prompt de un Modelo de Lenguaje Grande (LLM) que actúa como una política fija ( $\pi$ ). El agente razona sobre el contenido y elige acciones (dar me gusta, seguir, leer respuestas, ignorar) de forma autónoma basándose en esta persona.
Diseño Contrafactual: Crucialmente, la política de comportamiento se mantiene constante entre las "réplicas" de una misma persona. Los investigadores pueden entonces perturbar las señales visibles para la plataforma (p. ej., cambiar la edad o la ubicación mostrada) a través de diferentes cuentas mientras mantienen la política de comportamiento subyacente idéntica. Esto permite la estimación de la respuesta de la señal condicionada a la política: la diferencia en los resultados esperados cuando la misma política de comportamiento se expone a diferentes señales demográficas.

Despliegue Experimental (Caso de Estudio)

Plataforma: X (anteriormente Twitter).
Cronología: 5 al 28 de noviembre de 2024 (inmediatamente después de las elecciones presidenciales de EE. UU. de 2024).
Escala: 1,120 cuentas sintéticas desplegadas.
Personas: 14 personas distintas que abarcan un rango de perfiles demográficos e ideológicos (fundamentadas en datos del Censo de EE. UU. y de Pew).
Condiciones: Cada persona fue replicada en 80 cuentas, asignadas aleatoriamente a cuatro condiciones:
1. Línea base (Baseline): Perfil estándar.
2. Contrafactual 1: Ubicación perturbada.
3. Contrafactual 2: Edad perturbada.
4. Contrafactual 3: Género perturbado.
Interacción: Los agentes navegaron tanto por el feed "Para ti" algorítmico como por el feed "Siguiendo" cronológico. Interactuaron con el contenido seleccionando acciones basadas en el razonamiento del LLM, creando un bucle de retroalimentación realista sin publicar contenido original (para minimizar el impacto en los usuarios reales).
Datos: Se recolectaron más de 200,000 exposiciones de contenido.

3. Medición y Estimación

El estudio se centra en dos objetivos analíticos principales:

Análisis de Amplificación: Comparar el feed "Para ti" frente al feed "Siguiendo" para medir la amplificación algorítmica de tipos de contenido específicos (Tóxico, Político, Polarizante, de tendencia Derecha/Izquierda, de Alto Alcance). La métrica utilizada es el Ratio de Amplificación, calculado como la diferencia porcentual relativa en las tasas de exposición de contenido entre los dos feeds.
Análisis Contrafactual: Estimar el efecto causal de las perturbaciones demográficas en la exposición de contenido. Los autores utilizan una métrica de "elevación algorítmica" (algorithmic lift) aditiva (diferencia en las tasas de exposición entre los feeds) y emplean modelos de regresión para estimar:
- Efectos de Tratamiento Agrupados (Pooled Treatment Effects): Efectos promedio de los cambios demográficos en todas las personas.
- Efectos de Tratamiento Heterogéneos (Heterogeneous Treatment Effects): Efectos específicos por persona, probando si la respuesta del algoritmo a las señales varía según el tipo de usuario.

La clasificación de contenido (toxicidad, inclinación política, polarización) se realizó mediante un pipeline personalizado basado en LLM con prompting de cadena de pensamiento (chain-of-thought), validado contra datos etiquetados por humanos.

4. Resultados Clave

Amplificación de Tipos de Contenido

Hallazgos Agregados: El feed "Para ti" amplifica significativamente el contenido tóxico (+39.2%), polarizante (+32.3%), político (+14.2%) y de tendencia derecha (+23.3%) en comparación con el feed cronológico. El contenido de tendencia izquierda no mostró ninguna amplificación significativa (-6.1%).
Asimetría Ideológica: Al estratificar por ideología del usuario, la asimetría se agudizó:
- Contenido Tóxico: Amplificado en un +80.3% para usuarios de tendencia izquierda, pero no mostró un efecto significativo para usuarios de tendencia derecha.
- Contenido de Tendencia Derecha: Amplificado para ambos grupos, pero el contenido de tendencia izquierda fue activamente suprimido (-17.0%) para los usuarios de derecha, creando una cámara de eco asimétrica.
- Contenido de Alto Alcance: Amplificado para usuarios de derecha (+38.4%) pero desamplificado para usuarios de izquierda (-11.0%).

Análisis Contrafactual (Señales Demográficas)

Efectos Agrupados: Al promediar a través de todas las personas, las perturbaciones demográficas (edad, género, ubicación) tuvieron efectos sistemáticos mayoritariamente nulos en la elevación algorítmica. Solo dos coeficientes fueron significativos al nivel del 5% (la edad avanzada aumentó la elevación de contenido tóxico; la ubicación urbana redujo la elevación de contenido polarizante), y ninguno sobrevivió a las correcciones de pruebas de hipótesis múltiples.
Efectos Heterogéneos: A pesar de los resultados agrupados nulos, las pruebas F conjuntas rechazaron la hipótesis de efectos homogéneos para todos los resultados. La respuesta del algoritmo a las señales demográficas es altamente dependiente de la persona.
- La misma perturbación de señal (p. ej., cambiar la edad) podía amplificar el contenido para una persona mientras lo desamplificaba para otra.
- Esta heterogeneidad explica por qué las auditorías agregadas fallan al detectar la discriminación presente en subgrupos específicos.

5. Significancia y Contribuciones

El artículo reclama tres contribuciones principales:

Innovación Metodológica: Establece los agentes basados en GenAI como una nueva herramienta para la auditoría algorítmica. Al desacoplar las políticas de comportamiento fijas de las señales variables visibles para la plataforma, el marco permite una auditoría contrafactual rigurosa que anteriormente era inviable con bots programados o estudios humanos.
Evidencia Empírica sobre X: El estudio proporciona evidencia a gran escala de que el algoritmo de X amplifica el contenido tóxico, polarizante y de tendencia derecha. Crucialmente, revela que esta amplificación no es uniforme; crea entornos de información asimétricos donde los usuarios de derecha están protegidos de las visiones opuestas, mientras que los usuarios de izquierda están desproporcionadamente expuestos al contenido tóxico.
Perspectiva sobre la Heterogeneidad Algorítmica: El trabajo demuestra que las métricas de auditoría agrupadas pueden ser engañosas. La falta de efectos demográficos promedio no implica que el algoritmo ignore la demografía; más bien, responde a ella de formas complejas y específicas de cada persona, que se cancelan entre sí en el agregado. Esto resalta la necesidad de ir más allá de las métricas agregadas para detectar la discriminación a nivel de subgrupo.

Los autores mantienen un tono modesto respecto a las limitaciones, reconociendo que los agentes de LLM carecen de la experiencia vivida humana y que el estudio se realizó en cuentas recién creadas durante un periodo de alta saliencia política. Enfatizan que su marco es generalizable a otras plataformas y puede servir como una herramienta tanto para auditores independientes como para las propias plataformas para poner a prueba los cambios algorítmicos.