💬 NLP

The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads

Este artigo introduz o MirageBench para revelar que os LLMs personalizados fabricam universalmente atributos de usuários por meio de uma inferência excessiva generalizada, um fenômeno que os mecanismos de automonitoramento não conseguem detectar e que frequentemente apresenta uma correlação inversa com as taxas de erro reais, demonstrando, assim, a necessidade crítica de verificação externa em vez da autoavaliação do modelo.

Autores originais: Yushi Sun, Yanjie Zhang, Rui Sheng

Publicado 2026-08-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yushi Sun, Yanjie Zhang, Rui Sheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Armadilha da Memória: Quando a IA se Torna Criativa Demais

Imagine que você está conversando com um assistente digital superinteligente que se lembra de tudo o que você já lhe contou. Isso não é apenas um simples bloco de notas; é uma IA "personalizada" projetada para conhecer você. No mundo da ciência da computação, isso é chamado de personalização de Grandes Modelos de Linguagem (LLMs). Pense nesses modelos como leitores incrivelmente rápidos que podem conversar com você, mas eles têm um hábito complicado: às vezes, eles preenchem as lacunas da sua história de vida com suposições que parecem muito confiantes, mas que são, na verdade, inventadas.

Para entender o problema, precisamos saber duas coisas. Primeiro, a memória persistente é a capacidade de uma IA de lembrar fatos sobre você em diferentes conversas, como lembrar seu sabor de pizza favorito da semana passada. Segundo, a alucinação é quando uma IA inventa fatos sobre o mundo (como dizer que a lua é feita de queijo). Mas há um terceiro problema, mais sorrateiro: a sobre-inferência. Isso é quando a IA pega um pequeno fato verdadeiro que você deu a ela e o estica até transformá-lo em um todo novo traço de personalidade que você nunca mencionou. É como dizer a um amigo que você gosta de café, e ele imediatamente conta a todos que você é um barista que vive em um loft com cheiro de café e sonha em abrir um café. O amigo não está mentindo sobre o café, mas ele inventou uma vida inteira em torno disso. Nós nos preocupamos com isso porque, se nossos assistentes digitais começarem a inventar nossas vidas, eles podem começar a nos dar conselhos baseados em uma pessoa que não existe.

O Miragem: Quando a IA Sonha a Sua Vida

Uma equipe de pesquisadores decidiu colocar esses assistentes de IA "personalizados" à prova. Eles criaram um parquinho chamado MirageBench (uma "miragem" é um oásis falso no deserto, o que é um nome perfeito para isso). Eles deram a 12 modelos de IA diferentes um desafio simples: finja que você conhece uma pessoa baseando-se em apenas três fatos sobre ela. Em seguida, pediram à IA para fazer coisas como escrever um perfil de namoro, sugerir uma viagem de fim de semana ou descrever o apartamento da pessoa.

Os resultados foram um pouco como observar um mágico que fica confiante demais em seus próprios truques. Os pesquisadores descobriram que todos os modelos testados foram culpados de "sobre-inferência". Em média, cerca de 41,6% das coisas que essas IAs afirmavam saber sobre o usuário eram completamente inventadas. Isso significa que, se uma IA lhe diz que sabe 10 coisas sobre você, aproximadamente 4 delas são pura ficção, embora a IA as diga com total confiança.

O estudo dividiu essas afirmações inventadas em duas categorias: Estereótipos (supor que você gosta de ioga porque é enfermeira) e Fabricações (inventar que você tem um iguana de estimação quando você nunca mencionou um). As IAs foram muito melhores em criar histórias selvagens (fabricações) do que apenas depender de estereótipos. Na verdade, para tarefas que exigiam imaginação, como descrever o apartamento de alguém, a taxa de "falsidade" saltou para quase 59%. Parece que, quanto menos evidências a IA possui, mais livremente ela começa a sonhar detalhes.

O Grande Truque da Confiança

Aqui está a parte mais surpreendente da história, que os pesquisadores chamam de "Inversão do Automonitoramento".

Normalmente, pensamos que, se uma IA diz "Não tenho certeza sobre isso", ela está sendo honesta, e se diz "Tenho 100% de certeza", ela está sendo confiante. Mas os pesquisadores descobriram um padrão complexo ao comparar diferentes modelos de IA: os modelos que alegavam ser menos propensos a inventar coisas eram, na verdade, os que mais inventavam. Por outro lado, os modelos que admitiam "Ei, eu posso estar supondo aqui", eram frequentemente os que permaneciam mais próximos da verdade.

É como uma sala de aula onde os alunos que levantam a mão e dizem "Eu acho que posso estar errado" são, na verdade, os que mais estudaram, enquanto os alunos gritando "Eu sei a resposta!" são os que estão supondo loucamente. Os pesquisadores encontraram uma ligação negativa entre a autoconfiança relatada por um modelo e sua precisão real, embora notem que esta é uma descoberta exploratória com um intervalo de confiança amplo que inclui a possibilidade de não haver efeito. Isso significa que você não pode simplesmente perguntar a uma IA, "Você está inventando coisas?" e confiar na resposta ao comparar diferentes IAs. Aqueles que parecem mais honestos podem ser os maiores mentirosos, mas os dados sugerem que essa relação ainda está sendo totalmente compreendida.

A Poluição Silenciosa

Os pesquisadores também realizaram uma simulação onde a IA tinha uma conversa com um usuário ao longo de 8 rodadas. Eles observaram para ver se a IA "limparia" seus erros se o usuário os corrigisse. O resultado foi preocupante, mas com um toque inesperado: nem todos os modelos se comportaram da mesma forma.

Para os modelos mais inteligentes e capazes, a IA não apenas cometia erros; ela os acumulava. Imagine um quadro branco onde a IA escreve um palpite. Se o usuário diz "Na verdade, eu não gosto disso", um bom sistema apagaria o palpite. Mas esses modelos de ponta? Eles mantinham o palpite no quadro e adicionavam mais palpites por cima dele. Eles adicionavam cerca de 5 a 15 novos fatos inventados a cada rodada, e quase nunca apagavam os antigos (com taxas de remoção tão baixas quanto 0,4% a 5%).

No entanto, isso não era verdade para todos os modelos. Alguns modelos se comportavam mais como um sistema de "substituir e atualizar", onde removiam ativamente suposições antigas quando novas informações chegavam, com taxas de remoção de até 70% a 82%. O perigo reside especificamente nos acumuladores mais capazes, cuja memória tornou-se uma bagunça inflada de mais de 120 fatos inventados, a maioria dos quais nunca foi corrigida. É como um boato que se torna cada vez mais detalhado e mais errado conforme passa de pessoa para pessoa, mas ninguém jamais para para dizer: "Espere, isso não é verdade".

A Lição Aprendida

A grande lição deste artigo é que não podemos confiar na IA para policiar sua própria imaginação. A ideia de que uma IA pode olhar para seus próprios pensamentos e dizer "Isto é um fato" ou "Isto é um palpite" é uma miragem. Os modelos que parecem mais cautelosos são frequentemente os mais enganosos, e os que admitem incerteza são frequentemente os mais confiáveis, embora a força exata dessa relação entre diferentes modelos ainda esteja sendo explorada.

Os pesquisadores sugerem que, em vez de confiar no autorrelato da IA, precisamos de verificação externa — uma maneira de humanos ou outros sistemas verificarem o trabalho da IA. Também precisamos tratar tudo o que uma IA "supõe" como uma hipótese, não como um fato. Até que construamos sistemas que possam separar claramente o que elas sabem do que estão imaginando, nossos assistentes digitais personalizados podem estar construindo uma versão falsa de nós, uma mentira confiante de cada vez.

Resumo Técnico: O Mirage da Personalização

Definição do Problema

O artigo aborda uma lacuna crítica na implementação de Grandes Modelos de Linguagem (LLMs) personalizados com memória persistente. Embora esses sistemas sejam cada vez mais capazes de armazenar e recuperar informações do usuário, sua fidelidade permanece não examinada. Os autores definem Sobre-Inferência (OI - Over-Inference) como o fenômeno onde os LLMs geram alegações personalizadas sobre um usuário que extrapolam as evidências disponíveis.

A OI é distinta de:

Alucinação Factual: Afirmar fatos falsos sobre o mundo.
Viés Social: Aplicar estereótipos de nível de grupo.

Em vez disso, a OI ocupa um "meio-termo perigoso": fabricar atributos de nível individual que parecem personalizados, mas que não estão fundamentados em nada que o usuário tenha realmente compartilhado. A premissa central de que os modelos podem distinguir confiavelmente entre o que sabem e o que estão supondo demonstra ser fundamentalmente violada em interações do mundo real.

Metodologia: MirageBench

Para medir e comparar a sobre-inferência em escala, os autores introduzem o MirageBench, o primeiro benchmark especificamente projetado para este fenômeno. O benchmark compreende:

Personas: 150 personas de usuários balanceadas entre três grupos:
- Estereotípicas: Conformam-se a associações demográficas/ocupacionais comuns.
- Contra-estereotípicas: Desafiam deliberadamente as expectativas.
- Neutras: Sem alinhamento de estereótipo saliente.
  Cada persona possui um perfil de verdade fundamental (ground-truth) de 15 atributos, mas apenas 3 fatos em primeira pessoa são "revelados" ao modelo, simulando regimes de interação inicial onde a personalização é tentadora, mas a evidência é escassa.
Tarefas: Um conjunto de 6 tarefas de personalização abertas que abrangem um "gradiente de imaginação":
- De concretas (ex: "O que devo comprar de presente?") a altamente imaginativas (ex: "Descreva meu apartamento").
- As tarefas incluem escrever perfis de relacionamento, cartas de recomendação, itinerários de fim de semana e identificação de estressores.
Pipeline de Avaliação:
- Sondagem (Probe): Elicita a inferência explícita (pedindo ao modelo para listar o que ele pode inferir).
- Tarefa (Task): O modelo realiza as 6 tarefas e, em seguida, realiza uma auto-auditoria, extraindo e classificando suas próprias alegações.
- Juiz (Judge): Um modelo juiz independente (Claude-Opus-4-7) classifica cada alegação das respostas das Tarefas. A taxonomia é de quatro vias:
  - Fundamentada (Grounded): Reitera fatos do usuário.
  - Razoável (Reasonable): Extensão de senso comum de um passo.
  - Estereótipo (Stereotype): Substitui evidências individuais por vieses de grupo.
  - Fabricada (Fabricated): Sem base evidente.
  - A Taxa de Sobre-Inferência (Taxa de OI) é definida como a soma das alegações de Estereótipo e Fabricação.
- Acúmulo (Accum): Um piloto longitudinal rastreando como os atributos inferidos se acumulam ao longo de 8 rodadas de conversa.
Validação: A confiabilidade do Juiz foi validada contra um anotador humano cego em 400 alegações estratificadas, alcançando Cohen's $\kappa = 0,863$ (quatro classes) e $\kappa = 0,900$ (binário).
Modelos Avaliados: 12 modelos de 7 famílias (incluindo GPT-5.5, Claude-Opus-4-6, Gemini-3, DeepSeek-v4, Qwen3, GLM-5 e Kimi-K2.5), totalizando 143.616 alegações julgadas.

Resultados Principais

1. A Sobre-Inferência é Onipresente e Grave

Todos os modelos testados sobre-inferem entre 35% e 49% de suas alegações personalizadas. A média de OI entre os modelos é de 41,6% (micro-média ponderada por alegação: 41,8%).

Apenas 24%–31% do conteúdo personalizado está fundamentado em evidências.
A Fabricação (média de 31,1%) domina sobre o Estereótipo (média de 10,5%), indicando que os modelos principalmente inventam em vez de apenas estereotipar.
Personas estereotípicas incorrem em taxas de OI mais altas (44,8%) do que as contra-estereotípicas (3 de 37,0%), confirmando que os estereótipos impulsionam uma parte significativa do erro.

2. A Inversão de Automonitoramento

Uma descoberta crítica é a Inversão de Automonitoramento. Ao nível de seleção de modelo, há uma correlação de ranking negativa ( $\rho = -0,60, p = 0,044$ ) entre a OI autoavaliada pelo modelo e a OI medida pelo juiz.

Modelos que reportam a menor OI de auto-auditoria (ex: Qwen3-8B com 13,0%) frequentemente recebem a maior OI medida pelo juiz (48,7%).
Modelos que reportam a maior OI de auto-auditoria (ex: Kimi-K2.5 com 58,2%) frequentemente possuem uma OI medida pelo juiz menor (43,1%).
Implicação: A confiança auto-reportada é um sinal enganoso para comparar a segurança entre diferentes modelos. No entanto, dentro de um único modelo, a auto-auditoria permanece um sinal de ranking de moderado a forte para as próprias alegações daquele modelo (AUROC 0,58–0,83).

3. Variação Dependente da Tarefa

As taxas de OI variam significamente com base na "capacidade de fundamentação" da tarefa:

Alta OI (57,8%): "Descreva meu apartamento" (requer conjurar detalhes físicos não observados).
Baixa OI (27,0%): "Recomendação de presente de aniversário" (pode ser fundamentada em hobbies declarados).
Quanto menos observável o atributo, mais livremente os modelos fabricam.

4. Poluição Silenciosa da Memória

Em um piloto de múltiplos turnos, os atributos inferidos se acumulam aproximadamente de forma linear ( $R^2 > 0,90$ para 9/12 modelos) com pouca revisão.

Os principais acumuladores (ex: GPT-5.5, GLM-5.1) adicionam de 5 a 15 novos atributos inferidos por rodada.
As taxas de revisão para esses modelos são extremamente baixas (0,4%–5%), o que significa que alegações não sustentadas persistem e se acumulam silenciosamente.
Alguns modelos (ex: Qwen3-8B) comportam-se mais como substituição de memória (70–82% de remoção) do que como acúmulo.

Significância e Alegações

O artigo argumenta que a verificação externa é necessária para uma personalização confiável, pois os auto-relatos dos modelos são pouco confiáveis para comparações de segurança entre modelos.

Implicação de Design: Sistemas que selecionam modelos baseados em sua confiança auto-reportada na fundamentação estão "escolhendo na direção errada".
Rastreamento de Proveniência: As informações do usuário armazenadas devem ser marcadas com seu status epistêmico (declarado vs. inferido vs. fabricado). A personalização deve tratar inferências não vinculadas como hipóteses, não como fatos.
Tradeoff Fundamental: Com apenas ~25% das alegações fundamentadas, três quartos da personalização é inerentemente inferencial. O desafio de design não é eliminar a inferência, mas gerenciar sua incerteza e transparência.

Os autores posicionam o MirageBench como uma ferramenta fundamental para mudar o campo da dependência da introspecção do modelo para a dependência da adjudicação externa para avaliar modelos de usuário.