ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
El artículo presenta ConsistencyAI, un referente independiente que evalúa 19 modelos de lenguaje de gran tamaño en cuanto a su consistencia fáctica a través de diversos perfiles demográficos, revelando que las puntuaciones de consistencia varían significativamente tanto por proveedor del modelo como por tema, con un umbral medio del referente de 0,8656.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la era de la información moderna, recurrimos cada vez más a la inteligencia artificial para responder a nuestras preguntas, desde el precio de la leche hasta los detalles de una historia compleja. Estos sistemas, conocidos como modelos de lenguaje extensos, están diseñados para comprender el lenguaje humano y generar texto que se sienta como una conversación. Se han convertido en una forma primaria mediante la cual las personas acceden a los hechos, reemplazando a menudo a los motores de búsqueda tradicionales para obtener respuestas rápidas. Sin embargo, una pregunta fundamental permanece sobre cómo funcionan estas máquinas: ¿cuentan la misma historia a todo el mundo o cambian los hechos dependiendo de quién pregunte? Si un programa informático sabe que usted es un estudiante joven, ¿presenta un conjunto de verdades diferente al que le presentaría a un ejecutivo mayor? Esta posibilidad plantea preocupaciones sobre la equidad y la integridad de la información. Si los hechos mismos cambian según la formación de una persona, como su edad, género o trabajo, sugiere que el sistema no solo está responlando a una pregunta, sino adaptando la realidad para ajustarse a una audiencia específica. Este fenómeno, de ser real, podría moldear sutilmente la forma en que diferentes grupos de personas entienden el mundo, profundizando potencialmente las divisiones en lugar de cerrarlas.
Para investigar esto, investigadores de la Universidad de Duke y la Universidad de Carolina del Norte crearon una nueva prueba llamada ConsistencyAI. Su objetivo era ver si los modelos de lenguaje extensos cuentan hechos diferentes a diferentes personas. No pidieron a los modelos que comprobaran si la información era verdadera; en su lugar, preguntaron si los modelos daban el mismo conjunto de hechos a un profesor de 25 años que a un trabajador de la construcción de 60 años. El equipo construyó un sistema que simulaba a un grupo diverso de personas de los Estados Unidos, representando una amplia gama de edades, empleos y antecedentes. Luego, preguntaron a veinticinco modelos de inteligencia artificial diferentes para que proporcionaran cinco hechos sobre quince temas diferentes, tales como los costos de la vivienda, el déficit comercial y los conflictos políticos. Cada pregunta se realizó a cada modelo cien veces, con el contexto de la persona que preguntaba cambiando cada vez mediante un conjunto de 100 personas (personas) extraídas de un conjunto de datos representativo. Al comparar las respuestas, los investigadores pudieron medir cuánto cambiaba el contenido cuando cambiaba la persona.
Los resultados revelaron que, si bien muchos modelos son generalmente consistentes, no lo son perfectamente. Los investigadores descubrieron que los modelos, de hecho, cambiaban los hechos que presentaban basándose en a quién pensaban que estaban hablando. En una prueba a gran escala que involucró a 100 personas, las puntuaciones de consistencia de los modelos oscilaron entre un máximo de 0.9137 y un mínimo de 0.6719, con un promedio de 0.8555. Este promedio se convirtió en el punto de referencia del estudio. El modelo más consistente fue el Grok-4 de xAI, que se mantuvo notablemente constante en sus hechos independientemente del usuario. En el otro extremo del espectro, varios modelos ligeros y de nivel medio mostraron la mayor variación. El estudio demostró que el tema tratado importaba tanto como el modelo mismo. Por ejemplo, cuando se les preguntó sobre el déficit comercial de EE. UU., un tema con datos gubernamentales claros y estandarizados, los modelos fueron altamente consistentes. Sin embargo, cuando se les preguntó sobre los costos de la vivienda, un tema con fuentes de datos complejas y variadas, los modelos dieron respuestas mucho más diferentes a distintas personas.
Los investigadores también descubrieron que los modelos no solo cambian su tono o estilo; de hecho, seleccionan hechos diferentes. Cuando la persona cambiaba, los detalles específicos, las organizaciones y los números mencionados en la respuesta a menudo variaban. Por ejemplo, sobre el tema de la seguridad fronteriza, un modelo tendía a dar respuestas centradas en la aplicación de la ley a usuarios mayores, mientras que los usuarios más jóvenes recibían respuestas centradas en la geografía. Otro modelo daba respuestas simplificadas y cargadas de analogías a menores, pero respuestas directas y factuales a adultos. Esto sugiere que los modelos son sensibles a las señales demográficas y ajustan su información en consecuencia. El estudio también señaló que ser un modelo más avanzado o de "razonamiento" no garantizaba una mejor consistencia. Algunos modelos más pequeños y antiguos funcionaron mejor que los sistemas más nuevos y complejos, lo que indica que la consistencia no es simplemente un subproducto del tamaño o la inteligencia de un modelo.
Una parte significativa de la investigación se centró en temas controvertidos. El conflicto palestino-israelí mostró la mayor variación en las respuestas, con algunos modelos dando hechos muy consistentes y otros dando respuestas notablemente diferentes. Sobre este tema, algunos modelos incluso se negaron a responder o devolvieron errores, particularmente cuando el usuario era identificado como un niño. Esto sugiere que los modelos pueden tener filtros integrados que hacen que se alejen de temas sensibles dependiendo del usuario percibido. El estudio también encontró que la sensibilidad política por sí sola no predecía la inconsistencia. Aunque algunos temas políticos fueron altamente inconsistentes, otros no lo fueron, e incluso temas no políticos como los costos de la vivienda mostraron una baja consistencia. Esto indica que la dificultad de encontrar una narrativa única y estable en los datos es un factor importante. Si la información disponible sobre un tema es desordenada o disputada, es más probable que el modelo presente hechos diferentes a diferentes personas.
Los autores enfatizan que su trabajo no determina si los hechos son verdaderos, sino si los hechos son estables. Argumentan que, incluso si la información es correcta, presentar diferentes conjuntos de hechos a diferentes personas puede ser perjudicial. Puede conducir al sesgo de confirmación, donde las personas solo escuchan la versión de la realidad que se ajusta a sus creencias existentes, o puede reforzar los estereotipos. El estudio sugiere que, para que la inteligencia artificial sea verdaderamente confiable, debe proporcionar un conjunto de hechos estables independientemente de quién pregunte. Los investigadores han publicado sus herramientas de prueba y un sitio web interactivo para que periodistas, desarrolladores y el público puedan ver por sí mismos cómo se comportan los diferentes modelos. Esperan que esta transparencia anime a las empresas a construir sistemas que sean menos propensos a adaptar la verdad al usuario, asegurando que la información en la que todos confiamos siga siendo consistente y digna de confianza.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.