Resumo Técnico: Crescimento Primeiro, Cuidado Depois? Rastreando o Panorama das Preferências de Valores de LLMs em Dilemas Cotidianos

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam cada vez mais fluentes e socialmente intuitivos, os usuários estão dependendo deles não apenas para recuperação de informações, mas também para aconselhamento em domínios pessoais, sociais e profissionais. No entanto, a busca por conselhos raramente envolve identificar uma única resposta correta; em vez disso, requer a navegação por complexas compensações (trade-offs) entre valores concorrentes. As pesquisas existentes sobre preferências de valores em LLMs sofrem de três limitações primárias:

1. Benchmarks Sintéticos: Muitas avaliações dependem de cenários gerados pelo GPT a partir de modelos predefinidos, o que limita a escalabilidade e a diversidade dos dilemas.
2. Validade Ecológica: Benchmarks sintéticos frequentemente falham em capturar como as compensações de valores se manifestam em configurações do mundo real.
3. Taxonomias Top-Down: As análises tipicamente dependem de estruturas de valores predefinidas, o que pode deixar muitos casos do mundo real subrepresentados ou subespecificados.

Este estudo aborda essas lacunas investigando como os LLMs navegam por compensações de valores em diferentes contextos de busca de conselhos usando dados do mundo real, visando caracterizar as estruturas de valores subjacentes e identificar potenciais riscos de homogeneização de valores no aconselhamento mediado por IA.

Metodologia

Coleta de Dados

Os autores utilizaram um conjunto de dados curado de 5.728 dilemas do mundo real extraídos de quatro subreddits orientados ao aconselhamento: r/AskMenAdvice, r/AskWomenAdvice, r/CareerAdvice e r/FriendshipAdvice. Cada postagem inclui uma descrição textual de um dilema, duas opções alternativas e os custos e benefícios associados.

Extração e Validação de Valores

Utilizando o GPT-4o, o estudo extraiu o valor central que motiva cada opção dentro dos dilemas.

• Processo: O modelo foi instruído a resumir o valor central (1–4 palavras) e fornecer uma justificativa para cada opção.
• Validação: Uma amostra aleatória estratificada de 400 postagens (800 atribuições de valores) foi revisada manualmente por dois autores. A concordância entre os anotadores foi alta (Cohen's $\kappa = 0,833$), com 92% das atribuições passando na validação, confirmando a confiabilidade do GPT-4o neste contexto.
• Resultado: Este processo gerou 2.288 valores granulares únicos.

Estrutura de Valores Hierárquica Bottom-Up

Em vez de usar uma taxonomia top-down, os autores construíram indutivamente uma estrutura de valores hierárquica de quatro níveis:

1. Nível 0: 2.288 valores granulares.
2. Nível 1: 175 valores agrupados (via k-means clustering em embeddings).
3. Nível 2: 33 valores intermediários.
4. Nível 3: 4 dimensões de valores de alto nível:
   • Realização e Impacto
   • Benevolência e Conexão
   • Segurança e Estabilidade
   • Exploração e Crescimento
     O estudo da validade dessa estrutura foi confirmado através de validação manual (92,4% de concordância entre anotadores ao mapear valores de nível inferior para categorias de nível superior) e mostrou um alinhamento conceitual substancial com a teoria de valores humanos básicos de Schwartz.

Avaliação de LLM

Três LLMs de última geração (GPT-4o, DeepSeek-V3.2-Exp e Gemini-2.5-Flash) foram instigados a escolher uma opção para cada um dos 5.728 dilemas.

• Controles: A temperatura foi definida em 0 para estabilidade. Efeitos de ordem foram mitigados invertendo a ordem das opções em um subconjunto de experimentos (92,5% das escolhas permaneceram inalteradas).
• Métrica: Uma taxa de vitória (winning rate) foi calculada para cada valor de alto nível. Esta métrica representa a proporção de vezes que um modelo preferiu um valor específico sobre outro quando ambos coexistiam no mesmo dilema.
• Análise: A significância foi avaliada usando testes bootstrap não paramétricos para comparar preferências entre modelos e contextos.

Principais Contribuições

1. Pipeline Metodológico: Um pipeline escalável para avaliar as preferências de valores de LLMs usando dilemas reais e organicamente ocorrentes, em vez de benchmarks sintéticos.
2. Estrutura de Valores Baseada em Dados: A construção indutiva de uma estrutura de valores hierárquica de quatro níveis a partir de dados de redes sociais, oferecendo uma alternativa baseada em dados às taxonomias top-down.
3. Achados Empíricos: Avaliação sistemática de LLMs em dilemas do mundo real revelando vieses de valores consistentes.
4. Lançamento de Dataset: Lançamento público do dataset anotado contendo 5.728 dilemas, valores extraídos e escolhas de LLM para apoiar a análise reproduzível.

Resultados

RQ1: Estruturas de Compensação de Valores em Subreddits

• Heterogeneidade: As estruturas de compensação de valores variam significativamente entre os contextos. O subreddit focado em mulheres (r/AskWomenAdvice) exibiu a maior densidade de rede, indicando conflitos de valores mais complexos e diversos em comparação com outros subreddits.
• Padrões Comuns: Os subreddits de conselhos para homens, mulheres e amizade compartilharam padrões de conflito altamente correlacionados centrados em tensões de Segurança (ex: Segurança vs. Respeito, Segurança vs. Conexão).
• Estruturas Distintas: O aconselhamento de carreira formou uma estrutura distinta onde a Segurança frequentemente colidia com a Autorrealização e o Crescimento.

RQ2: Preferências de Valores de LLM

Em todos os três modelos e em todos os contextos, observou-se um viés consistente e sistemático:

• Exploração & Crescimento vs. Benevolência & Conexão: Os LLMs priorizaram consistentemente Exploração & Crescimento sobre Benevolência & Conexão.
  • Benevolência & Conexão foi o valor menos preferido em todos os modelos (taxas de vitória significativamente menores, $p < 0,001$).
  • Exploração & Crescimento foi consistentemente preferido sobre Segurança & Estabilidade e Benevolência & Conexão.
• Nuance Contextual: Embora a preferência geral por Crescimento sobre Cuidado tenha sido robusta, foram notadas mudanças específicas de contexto. Os modelos atribuíram maior peso à Segurança & Estabilidade em conselhos voltados para mulheres em comparação com conselhos de carreira, onde a Exploração & Crescimento tornou-se mais proeminente.
• Consistência entre Modelos: A preferência por Crescimento sobre Benevolência manteve-se constante no GPT-4o, DeepSeek-V3.2-Exp e Gemini-2.5-Flash, sugerindo que isso é uma orientação sistêmica e não um artefato específico de um modelo.

Significância e Alegações

O artigo afirma que esses achados destacam um risco potencial de homogeneização de valores no aconselhamento mediado por IA. Ao priorizar consistentemente valores relacionados ao autodesenvolvimento, autonomia e crescimento em detrimento do cuidado relacional, da conexão e da benevolência, os LLMs podem sutilmente moldar a tomada de decisão e os resultados normativos em escala.

Os autores argumentam que, à medida que os usuários dependem cada vez mais dos LLMs como substitutos para o aconselhamento interpessoal, essas orientações de valores incorporadas poderiam influenciar como os indivíduos navegam por compensações em suas vidas pessoais. O estudo não afirma que os LLMs estão "errados", mas sim que eles não são neutros em termos de valores; eles refletem e potencialmente amplificam estruturas normativas específicas (favorecendo o crescimento) enquanto marginalizam outras (cuidado relacional). Isso ressalta a necessidade de pipelines de avaliação robustos e estratégias de governança para garantir que os sistemas de IA não reforcem inadvertidamente sistemas de valores dominantes em detrimento de perspectivas humanas diversas.

O estudo conclui de forma modesta, reconhecendo limitações como a simplificação das opções para valores dominantes únicos e a dependência de um conjunto limitado de modelos. Ele convoca trabalhos futuros para examinar implicações downstream, resultados para o usuário e a necessidade de julgamentos humanos diversos no design de sistemas de IA que fornecem conselhos.