Resumo Técnico: Tópicos como Proxies para Sociodemografia

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em cenários de alto risco, incluindo aconselhamento jurídico, médico e financeiro. Pesquisas anteriores indicam que usuários de diferentes grupos sociodemográficos recebem resultados díspares de LLMs, mesmo quando seus históricos de conversa não contêm marcadores demográficos explícitos. Embora essas disparidades sejam estatisticamente significativas, sua magnitude exata e os mecanismos subjacentes permanecem obscuros. Especificamente, não se sabe se os modelos impulsionam essas diferenças ao inferir com precisão a sociodemografia do usuário a partir do contexto conversacional ou ao reagir a outras características linguísticas que, por acaso, correlacionam-se com essas demografias. Este artigo investiga se os LLMs podem inferir a sociodemografia do usuário a partir de um único histórico de conversa e identifica os principais impulsionadores das disparidades de resultados no aconselhamento de alto risco.

Metodologia

O estudo emprega um design experimental multifacetado usando três LLMs de pesos abertos (Llama 3.1 8B, Gemma 3 12B e Qwen3.6 27B) e um modelo de raciocínio de fronteira (Kimi K2.6).

Datasets:

• Históricos de Conversa: Dois conjuntos de dados foram utilizados: o dataset PRISM (8.011 conversas com 1.500 participantes de 75 países) e o Community Alignment Dataset (26.521 conversas em inglês de 1.220 participantes na Índia e nos EUA). Ambos incluem anotações sociodemográficas do usuário (ex: idade, gênero, etnia, educação, região).
• Questões de Alto Risco: O Sociolinguistic Bias Benchmark (SBB) forneceu 250 questões divididas em cinco domínios: Benefícios, Médico, Jurídico, Político e Salário. Essas questões foram anexadas aos históricos de conversa para gerar as respostas do modelo.

Procedimentos Experimentais:

1. Medição de Disparidade de Resultados: Os autores mediram a magnitude das diferenças nos outputs dos modelos (ex: recomendações salariais, conselhos binários sim/não) entre grupos sociodemográficos usando testes ANOVA.
2. Avaliação de Inferência Demográfica:
   • Prompting: O Kimi K2.6 foi explicitamente instruído a inferir a demografia do usuário a partir dos históricos de conversa em formato JSON.
   • Probing Linear: Classificadores lineares foram treinados nas representações latentes (posições do último token) do Gemma e do Llama para prever a demografia do usuário, testando a separabilidade linear interna dessas características.
3. Análise de Fatores Preditivos: Os autores computaram uma ampla gama de características (psico)linguísticas para cada conversa, incluindo:
   • Tópicos de Conversa: Derivados de prompts de abertura ou agrupamento (clustering).
   • Características Psicolinguísticas: Métricas do dicionário LIWC-22, emoções (baseadas em BERT), sentimento (baseado em RoBERTa), polidez, concretude e legibilidade (escore Flesch).
   • Métricas Linguísticas: Perplexidade, contagem de tokens e métricas de diversidade.
   • Modelagem de Regressão: A regressão ElasticNet foi usada para determinar quais características (sociodemográficas vs. linguísticas/contextuais) melhor previam os resultados do modelo.
4. Comparação Controlada: Um design 2x2 comparou as diferenças nos resultados dos modelos entre usuários do mesmo/diferentes grupos demográficos discutindo o mesmo/diferentes tópicos para isolar o efeito do tópico versus a identidade.

Principais Contribuições e Resultados

1. Magnitude Mínima de Disparidades
Embora existam diferenças estatisticamente significativas nos resultados entre grupos sociodemográficos, sua magnitude é mínima. Em todos os modelos e datasets, as diferenças salariais significativas entre os grupos mais distintos tiveram média de $342,20 (máximo de $882,70). Para outros domínios, as diferenças variaram de 0,66 a 2,22 pontos percentuais. Isso corresponde a menos de uma ou no máximo duas perguntas em 50 sendo respondidas de forma diferente entre os grupos mais distintos. Essas diferenças são substancialmente menores do que as observadas em relação à previsão baseline do modelo sem qualquer contexto de conversa.

2. Baixa Capacidade de Inferência Demográfica
Os LLMs têm dificuldade em inferir com precisão a sociodemografia do usuário a partir dos históricos de conversa:

• Prompting: Quando explicitamente solicitado a inferir demografia, o Kimi K2.6 falhou em superar as baselines de classe majoritária em cinco de sete categorias, devido principalmente à superpredição de classes majoritárias (ex: predizer "Masculino", "Branco", "18-34 anos"). Ele nunca previu usuários com 55+ anos.
• Probing Linear: Embora os probes treinados nas representações latentes tenham superado as baselines aleatórias e de maioria nas camadas posteriores do modelo, o desempenho permaneceu baixo (escores Macro F1 em torno de 0,3 para classes desbalanceadas e 0,7 para classes balanceadas). Isso sugere que as sociodemografias não estão claramente representadas de forma linear nos componentes internos do modelo.

3. Tópicos de Conversa como Principais Impulsionadores
A análise de regressão revelou que os tópicos de conversa são os preditores mais fortes do comportamento do LLM, superando amplamente a sociodemografia do usuário.

• As características de tópico mantiveram consistentemente os coeficientes de importância mais altos em todos os modelos e domínios.
• Tópicos específicos correlacionaram-se com resultados específicos: por exemplo, conversas sobre "viagens de luxo" levaram a recomendações salariais mais altas, enquanto "busca de emprego" ou "restrições orçamentárias" levaram a recomendações mais baixas.
• Na comparação 2x2, as diferenças nos resultados entre usuários discutindo tópicos diferentes foram consistentemente maiores do que as diferenças entre usuários de diferentes grupos demográficos discutindo o mesmo tópico.

4. Tópicos como Proxies
O estudo encontra que os tópicos de conversa atuam como proxies para a sociodemografia. Como usuários de diferentes origens frequentemente selecionam tópicos diferentes (ex: usuários mais jovens discutindo busca de emprego com mais frequência), a reação do modelo ao tópico cria inadvertidamente disparidades demográficas. No entanto, o modelo está reagindo ao tópico, não à identidade inferida.

Significância e Alegações

O artigo alega que o principal impulsionador do viés demográfico em conselhos de LLM de alto risco não é a capacidade do modelo de inferir e discriminar com base na identidade do usuário, mas sim a sensibilidade do modelo ao contexto conversacional, especificamente ao tópico.

• Sutileza do Viés: As descobertas destacam que as disparidades demográficas em cenários de alto risco surgem de forma indireta e sutil através da seleção de tópicos, em vez de sinalização demográfica explícita. Isso torna tais vieses difíceis de detectar e mitigar.
• Limitação da Mitigação Atual: Uma estratégia de mitigação baseada apenas em prompting (instruindo o modelo a ignorar características do usuário) mostrou-se amplamente ineficaz, reduzindo as disparidades apenas no domínio político, mas deixando os domínios de benefícios e salário praticamente inalterados.
• Direção Futura: Os autores argumentam por uma mudança na compreensão da identidade do usuário em LLMs, indo além da sociodemografia estática para a complexa interação do contexto conversacional. Eles pedem pesquisas futuras para entender melhor e mitigar os efeitos do contexto conversacional, particularmente o papel dos tópicos como proxies para a identidade, em aplicações de alto risco.

O artigo conclui que, embora existam disparidades nos resultados, elas são impulsionadas mais pelo que os usuários falam do que por quem eles são, desafiando a suposição de que os LLMs estão inferindo e agindo diretamente sobre identidades demográficas em configurações conversacionais realistas.