💬 NLP

The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads

Este artículo presenta MirageBench para revelar que los LLM personalizados fabrican atributos de usuario de manera universal mediante una sobreinferencia generalizada, un fenómeno que los mecanismos de automonitoreo no logran detectar y que a menudo se correlaciona inversamente con las tasas de error reales, demostrando así la necesidad crítica de la verificación externa sobre la autoevaluación del modelo.

Autores originales: Yushi Sun, Yanjie Zhang, Rui Sheng

Publicado 2026-08-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yushi Sun, Yanjie Zhang, Rui Sheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La trampa de la memoria: Cuando la IA se vuelve demasiado creativa

Imagina que estás hablando con un asistente digital superinteligente que recuerda todo lo que le has dicho. Esto no es solo un simple bloc de notas; es una IA "personalizada" diseñada para conocerte a ti. En el mundo de la informática, esto se llama personalización de Modelos de Lenguaje Extensos (LLM). Piensa en estos modelos como lectores increíblemente rápidos que pueden charlar contigo, pero tienen un hábito difícil: a veces rellenan los huecos de la historia de tu vida con conjeturas que suenan muy convincentes pero que en realidad son inventadas.

Para entender el problema, necesitamos saber dos cosas. Primero, la memoria persistente es la capacidad de una IA para recordar hechos sobre ti a través de diferentes conversaciones, como recordar tu ingrediente de pizza favorito de la semana pasada. Segundo, la alucinación es cuando una IA inventa hechos sobre el mundo (como decir que la luna está hecha de queso). Pero hay un tercer problema, más sigiloso: la sobreinferencia. Esto es cuando la IA toma un pequeño hecho real que le diste y lo estira hasta convertirlo en un rasgo de personalidad completamente nuevo que nunca mencionaste. Es como decirle a un amigo que te gusta el café, y él inmediatamente le dice a todo el mundo que eres un barista que vive en un loft con olor a café y que sueña con abrir una cafetería. El amigo no está mintiendo sobre el café, pero ha inventado toda una vida alrededor de él. Nos importa esto porque si nuestros asistentes digitales empiezan a inventar nuestras vidas, podrían empezar a darnos consejos basados en una persona que no existe.

El espejismo: Cuando la IA sueña con tu vida

Un equipo de investigadores decidió poner a prueba estos asistentes de IA "personalizados". Crearon un patio de recreo llamado MirageBench (un "espejismo" es un oasis falso en el desierto, lo cual es un nombre perfecto para esto). Le dieron a 12 modelos de IA diferentes un desafío sencillo: finge que conoces a una persona basándote solo en tres hechos sobre ella. Luego, le pidieron a la IA que hiciera cosas como escribir un perfil de citas, sugerir un viaje de fin de semana o describir el apartamento de la persona.

Los resultados fueron un poco como observar a un mago que se vuelve demasiado confiado en sus propios trucos. Los investigadores descubrieron que cada uno de los modelos que probaron era culpable de "sobreinferencia". En promedio, alrededor del 41.6% de las cosas que estas IA afirmaban saber sobre el usuario eran completamente inventadas. Eso significa que si una IA te dice que sabe 10 cosas sobre ti, aproximadamente 4 de ellas son pura ficción, aunque la IA las diga con total confianza.

El estudio dividió estas afirmaciones inventadas en dos categorías: Estereotipos (suponer que te gusta el yoga porque eres enfermero/a) y Fabricaciones (inventar que tienes una iguana mascota cuando nunca mencionaste una). Las IA fueron mucho mejores inventando historias salvajes (fabricaciones) que simplemente recurriendo a estereotipos. De hecho, para tareas que requerían imaginación, como describir el apartamento de alguien, la tasa de "falsedad" saltó a casi el 59%. Parece que cuanto menos evidencia tiene la IA, más libremente empieza a soñar con detalles.

El gran truco de la confianza

Aquí está la parte más sorprendente de la historia, que los investigadores llaman la "Inversión del Automonitoreo".

Normalmente, pensamos que si una IA dice: "No estoy segura de esto", está siendo honesta, y si dice: "Estoy 100% segura", tiene confianza. Pero los investigadores encontraron un patrón complejo al comparar diferentes modelos de IA: los modelos que afirmaban ser menos propensos a inventar cosas eran, de hecho, los que más inventaban. Por el contrario, los modelos que admitían: "Oye, puede que esté adivinando aquí", eran a menudo los que se mantenían más cerca de la verdad.

Es como un salón de clases donde los estudiantes que levantan la mano y dicen: "Creo que podría estar equivocado", son en realidad los que más estudiaron, mientras que los estudiantes que gritan: "¡Sé la respuesta!", son los que están adivinando salvajemente. Los investigadores encontraron un vínculo negativo entre la confianza autoinformada de un modelo y su precisión real, aunque señalan que este es un hallazgo exploratorio con un intervalo de confianza amplio que incluye la posibilidad de que no haya efecto. Esto significa que no puedes simplemente preguntarle a una IA: "¿Estás inventando cosas?" y confiar en la respuesta al comparar diferentes IA. Los que parecen más honestos podrían ser los más mentirosos, pero los datos sugieren que esta relación aún se está comprendiendo plenamente.

La contaminación silenciosa

Los investigadores también realizaron una simulación donde la IA tenía una conversación con un usuario durante 8 rondas. Observaron para ver si la IA "limpiaba" sus errores si el usuario los corregía. El resultado fue preocupante, pero con un giro: no todos los modelos se comportaron de la misma manera.

Para los modelos más inteligentes y capaces, la IA no solo cometía errores; sino que los acumulaba. Imagina una pizarra donde la IA escribe una conjetura. Si el usuario dice: "En realidad, no me gusta eso", un buen sistema debería borrar la conjetura. ¿Pero estos modelos de alto nivel? Seguían poniendo la conjetura en la pizarra y añadían más conjeturas encima de ella. Añadían entre 5 y 15 nuevos hechos inventados en cada ronda, y casi nunca borraban los antiguos (con tasas de eliminación de tan solo el 0.4% al 5%).

Sin embargo, esto no era cierto para todos los modelos. Algunos modelos se comportaban más como un sistema de "reemplazar y actualizar", donde eliminaban activamente las viejas conjeturas cuando llegaba nueva información, con tasas de eliminación de hasta el 70% al 82%. El peligro reside específicamente en los acumuladores más capaces, cuya memoria se convirtió en un desastre inflado de más de 120 hechos inventados, la mayoría de los cuales nunca fueron corregidos. Es como un rumor que se vuelve cada vez más detallado y más erróneo a medida que pasa de persona a persona, pero nadie se detiene a decir: "Espera, eso no es verdad".

La conclusión

La gran lección de este artículo es que no podemos confiar en que la IA vigile su propia imaginación. La idea de que una IA pueda mirar sus propios pensamientos y decir: "Esto es un hecho" o "Esto es una conjetura" es un espejismo. Los modelos que parecen más cautelosos son a menudo los más engañosos, y los que admiten la incertidumbre son a menudo los más fiables, aunque la fuerza exacta de esta relación entre diferentes modelos aún se está explorando.

Los investigadores sugieren que, en lugar de confiar en el autoinforme de la IA, necesitamos verificación externa: una forma de que los humanos u otros sistemas comprueben el trabajo de la IA. También necesitamos tratar todo lo que una IA "supone" como una hipótesis, no como un hecho. Hasta que construyamos sistemas que puedan separar claramente lo que saben de lo que están imaginando, nuestros asistentes digitales personalizados podrían estar construyendo una versión falsa de nosotros, una mentira convincente a la vez.

Resumen Técnico: El Espejismo de la Personalización

Definición del Problema

El artículo aborda una brecha crítica en el despliegue de Modelos de Lenguaje Extensos (LLM) personalizados con memoria persistente. Si bien estos sistemas son cada vez más capaces de almacenar y recuperar información del usuario, su fidelidad no ha sido examinada. Los autores definen la Sobre-Inferencia (OI, por sus siglas en inglés) como el fenómeno donde los LLM generan afirmaciones personalizadas sobre un usuario que se extienden más allá de la evidencia disponible.

La OI es distinta de:

Alucinación Fáctica: Afirmar hechos falsos sobre el mundo.
Sesgo Social: Aplicar estereotipos de nivel de grupo.

En su lugar, la OI ocupa un "punto medio peligroso": fabricar atributos a nivel individual que parecen personalizados pero que no están fundamentados en nada que el usuario haya compartido realmente. La suposición central de que los modelos pueden distinguir de manera fiable entre lo que saben y lo que están suponiendo se demuestra fundamentalmente violada en las interacciones del mundo real.

Metodología: MirageBench

Para medir y comparar la sobre-inferencia a escala, los autores introducen MirageBench, el primer benchmark diseñado específicamente para este fenómeno. El benchmark consta de:

Personas: 150 personas de usuario equilibradas en tres grupos:
- Estereotípicas: Conforman asociaciones demográficas/ocupacionales comunes.
- Contra-estereotípicas: Desafían deliberadamente las expectativas.
- Neutrales: Sin alineación con estereotipos salientes.
  Cada persona tiene un perfil de verdad fundamental de 15 atributos, pero solo se le "revelan" al modelo 3 hechos en primera persona, simulando regímenes de interacción temprana donde la personalización es tentadora pero la evidencia es escasa.
Tareas: Una suite de 6 tareas de personalización abiertas que abarcan un "gradiente de imaginación":
- Desde lo concreto (p. ej., "¿Qué regalo debería comprar?") hasta lo altamente imaginativo (p. ej., "Describe mi apartamento").
- Las tareas incluyen escribir perfiles de citas, cartas de recomendación, itinerarios de fin de semana e identificar estresores.
Pipeline de Evaluación:
- Sondeo (Probe): Elicita la inferencia explícita (pidiendo al modelo que enumere lo que puede inferir).
- Tarea (Task): El modelo realiza las 6 tareas y luego realiza una auto-auditoría, extrayendo y clasificando sus propias afirmaciones.
- Juez (Judge): Un modelo juez independiente (Claude-Opus-4-7) clasifica cada afirmación de las respuestas de la Tarea. La taxonomía es de cuatro vías:
  - Fundamentada (Grounded): Reitera los hechos del usuario.
  - Razonable (Reasonable): Extensión de sentido común de un solo paso.
  - Estereotipo (Stereotype): Sustituye la evidencia individual por prioridades de grupo.
  - Fabricada (Fabricated): Sin base evidente.
  - La Tasa de Sobre-Inferencia (OI Rate) se define como la suma de las afirmaciones de Estereotipo y Fabricación.
- Acumulación (Accum): Un piloto longitudinal que rastrea cómo se acumulan los atributos inferidos a lo largo de 8 rondas de conversación.
Validación: La fiabilidad del Juez fue validada contra un anotador humano ciego en 400 afirmaciones estratificadas, logrando un $\kappa$ de Cohen $= 0.863$ (cuatro clases) y $\kappa = 0.900$ (binario).
Modelos Evaluados: 12 modelos de 7 familias (incluyendo GPT-5.5, Claude-Opus-4-6, Gemini-3, DeepSeek-v4, Qwen3, GLM-5 y Kimi-K2.5), totalizando 143,616 afirmaciones juzgadas.

Resultados Clave

1. La Sobre-Inferencia es Persistente y Severa

Cada modelo probado sobre-infiere entre el 35% y el 49% de sus afirmaciones personalizadas. La media de OI entre modelos es del 41.6% (promedio micro ponderado por afirmación: 41.8%).

Solo el 24%–31% del contenido personalizado está fundamentado en evidencia.
La Fabricación (media 31.1%) domina sobre el Estereotipo (media 10.5%), indicando que los modelos principalmente inventan en lugar de solo estigmatizar.
Las personas estereotípicas incurren en tasas de OI más altas (44.8%) que las contra-estereotípicas (37.0%), confirmando que los estereotipos impulsan una parte significativa del error.

2. La Inversión de la Automonitorización

Un hallazgo crítico es la Inversión de la Automonitorización. A nivel de selección de modelos, existe una correlación de rango negativa ( $\rho = -0.60, p = 0.044$ ) entre la OI auto-evaluada por el modelo y la OI medida por el juez.

Los modelos que reportan la menor OI de auto-auditoría (p. ej., Qwen3-8B al 13.0%) suelen recibir la mayor OI medida por el juez (48.7%).
Los modelos que reportan la mayor OI de auto-auditoría (p. ej., Kimi-K2.5 al 58.2%) suelen tener una OI medida por el juez más baja (43.1%).
Implicación: La confianza auto-reportada es una señal engañosa para comparar la seguridad entre diferentes modelos. Sin embargo, dentro de un mismo modelo, la auto-auditoría sigue siendo una señal de ranking de moderada a fuerte para las propias afirmaciones de ese modelo (AUROC 0.58–0.83).

3. Variación Dependiente de la Tarea

Las tasas de OI varían significamente según la "capacidad de fundamentación" de la tarea:

OI Alta (57.8%): "Describe mi apartamento" (requiere conjurar detalles físicos no observados).
OI Baja (27.0%): "Recomendación de regalo de cumpleaños" (puede fundamentarse en pasatiempos declarados).
Cuanto menos observable es el atributo, más libremente fabrican los modelos.

4. Contaminación Silenciosa de la Memoria

En un piloto de múltiples turnos, los atributos inferidos se acumulan aproximadamente de forma lineal ( $R^2 > 0.90$ para 9/12 modelos) con poca revisión.

Los principales acumuladores (p. ej., GPT-5.5, GLM-5.1) añaden de 5 a 15 nuevos atributos inferidos por ronda.
Las tasas de revisión para estos modelos son extremadamente bajas (0.4%–5%), lo que significa que las afirmaciones sin sustento persisten y se agravan silenciosamente.
Algunos modelos (p. ej., Qwen3-8B) se comportan más como un reemplazo de memoria (70–82% de eliminación) que como una acumulación.

Significado y Reivindicaciones

El artículo argumenta que la verificación externa es necesaria para una personalización confiable, ya que los informes de introspección de los modelos no son fiables para comparaciones de seguridad entre modelos.

Implicación de Diseño: Los sistemas que seleccionan modelos basados en su confianza auto-reportada en la fundamentación están "eligiendo en la dirección equivocada".
Rastreo de Procedencia: La información del usuario almacenada debe etiquetarse con su estatus epistémico (declarado vs. inferido vs. fabricado). La personalización debe tratar las inferencias no vinculadas como hipótesis, no como hechos.
Compromiso Fundamental: Con solo un ~25% de las afirmaciones fundamentadas, tres cuartas partes de la personalización es inherentemente inferencial. El desafío de diseño no es eliminar la inferencia, sino gestionar su incertidumbre y transparencia.

Los autores posicionan a MirageBench como una herramienta fundacional para cambiar el enfoque del campo desde la dependencia de la introspección del modelo hacia la dependencia de la adjudicación externa para evaluar los modelos de usuario.