Resumo Técnico: CCBENCH: Avaliando a Competência Cultural de LLMs via Normas Sinalizadas Implicitamente usando Consultas de Saúde

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) atualmente funcionam como intermediários globais de informação, mas frequentemente adotam sistemas de valores "WEIRD" (Ocidentais, Educados, Industrializados, Ricos, Democráticos), levando a um viés cultural persistente. Existe uma lacuna crítica na avaliação da competência cultural — a capacidade de um IA de inferir e se adaptar aos valores culturais sinalizados implicitamente por um usuário, em vez de depender de traços demográficos estáticos.

Os benchmarks atuais tratam a identidade cultural majoritariamente como um atributo binário (pertencimento vs. não pertencimento), ignorando a fluidez e a variação intracultural da identidade humana real. Essa abordagem redutiva corre o risco de desalinhamento e do reforço de estereótipos prejudiciais, particularmente em domínios de alto risco como a saúde, onde o estilo de comunicação impacta diretamente a confiança e os resultados de saúde. Além disso, os usuários raramente declaram sua herança explicitamente; em vez disso, sinalizam o contexto através de narrativas implícitas, preferências de comunicação e pistas sociais. Os modelos existentes carecem de sensibilidade para reconhecer esses sinais sutis.

Metodologia: O Framework CCBENCH

Os autores introduzem o CCBENCH, um framework agnóstico de domínio projetado para avaliar a competência cultural implícita de LLMs. Diferente dos benchmarks tradicionais que dependem de autoidentificação explícita (ex: "Como uma pessoa da cultura X..."), o CCBENCH mede a capacidade de um modelo de inferir normas culturais latentes através de pistas comportamentais incorporadas no histórico de conversação.

1. Design do Framework

O framework operacionaliza a identidade cultural como um continuum de estados de adesão a normas revelados implicitamente. Ele utiliza uma representação hierárquica distinguindo entre valores culturais abstratos e as normas comportamentais que os operacionalizam.

• Construção de Persona: Personas sintéticas ($P_k$) são geradas com base em um conjunto de valores culturais centrais ($V$) e normas comportamentais ($N$).
• Lógica de Adesão:
  • Adesão ao Valor: Cada persona é atribuída a um estado de adesão binário ($+1$ para adesão, $-1$ para não adesão) a valores culturais específicos.
  • Derivação de Norma: A adesão de uma persona a uma norma específica é calculada como a média de seus escores de valor associados.
  • Estados Ternários: O estado final de adesão à norma ($C_k$) é categorizado em três estados: Seguir ($\mu > 0$), Evitar ($\mu < 0$) ou Neutro ($\mu = 0$). Isso permite personas nuances que podem seguir algumas normas enquanto evitam outras.

2. Criação do Benchmark CCBENCH-Health

O framework é instanciado como CCBENCH-Health, focando em consultas relacionadas à saúde.

• Obtenção de Dados: As normas e valores são fundamentados no recurso Mosaica, uma base de conhecimento de insights transculturais curados por especialistas.
• Simulação de Persona: 60 personas teoricamente fundamentadas foram criadas através de seis culturas (Afegã, Birmanesa, Chinesa, Maori, Nepalense e Vietnamita). Cada persona participa de 18 diálogos realistas.
• Fundamentação Implícita: Um histórico de conversa de múltiplos turnos ($H_k$) é gerado entre a persona e um assistente de IA. Este histórico é restringido pela função de adesão $C_k$ de modo que a persona demonstre valores através de estilo linguístico e padrões de tomada de decisão sem declarar explicitamente seu histórico geográfico ou cultural. Declarações de identidade explícitas são filtradas, enquanto artefatos culturais (ex: saudações, referências religiosas) são mantidos como pistas implícitas.
• Curadoria de Consultas: 52 perguntas de saúde autênticas foram extraídas de fóruns reais de usuários (eHealth, iCliniq), estratificadas em 12 tópicos de saúde.
• Protocolo de Avaliação:
  • Avaliação Baseada em Checklist: Para cada interação, um checklist específico de norma é gerado com base no estado de adesão da persona. Um LLM avaliador forte pontua a resposta do modelo ($R_i^k$) com base na proporção de itens de checklist satisfeitos.
  • Métricas:
    • Taxa de Seguimento (Follow Rate): Frequência de adaptação às normas que a persona prefere.
    • Taxa de Evitação (Avoid Rate): Frequência de adaptação correta à exclusão de normas culturais (resistência ao estereotipagem).
    • Pontuação de Competência Cultural (CCS): A média harmônica das taxas de Seguimento e Evitação.

3. Configuração Experimental

Cinco LLMs líderes (GPT-5.2, Gemini-2.5-Pro, Claude-3.5-Sonnet, Llama-3.2-90B, Qwen-3.5-397B) foram avaliados sob quatro configurações de prompting:

1. Sem Contexto: Apenas a consulta de saúde.
2. Com Contexto de Conversa (Hist.): O histórico de conversa simulado é fornecido.
3. Culture-CoT: O modelo é instruído a realizar o raciocínio de Cadeia de Pensamento (Chain-of-Thought) para identificar pistas culturais antes de responder.
4. Contexto de Norma: O modelo é explicitamente fornecido com as definições de norma de verdade fundamental (limite superior teórico).

Principais Resultados

O benchmarking revela um déficit generalizado na adaptação a revelações de normas implícitas, caracterizado por uma assimetria significativa entre as capacidades de "Evitar" e "Seguir".

• Competência Geral Limitada: Mesmo os modelos com melhor desempenho alcançam respostas culturalmente apropriadas apenas 20–30% das vezes (medido por CCS) quando explicitamente instruídos com estados de norma. Em cenários implícitos (Contexto de Conversa), o desempenho cai significativamente.
• A Assimetria (Padrão Ocidental): Os modelos apresentam desempenho significativamente melhor quando as personas preferem evitar normas culturais do que quando preferem seguí-las.
  • Exemplo: O GPT-5.2 alcança uma Taxa de Evitação de 51,7%, mas apenas uma Taxa de Seguimento de 6,5% sob contexto de conversa.
  • Isso sugere que os modelos possuem um "padrão Ocidental" onde a omissão de normas não ocidentais é interpretada como competência, enquanto a acomodação cultural ativa permanece fraca.
• Impacto de Pistas Explícitas: Promptar modelos explicitamente para focar em pistas culturais (Culture-CoT) gera melhorias modestas (ganho médio de 3–5%), indicando que scaffolds de raciocínio ajudam, mas não podem substituir a adaptação cultural direcionada.
• Disparidades Culturais:
  • Contexto Afegão: Os modelos têm maior dificuldade aqui, com um Score de Competência Cultural médio de 0,088. As pistas culturais raramente resultam em conselhos de saúde apropriados.
  • Contexto Maori: Exibe Taxas de Evitação notavelmente altas, provavelmente devido a marcadores linguísticos distintos que são mais fáceis para os modelos detectarem e suprimirem.
• Estilo vs. Substância: Os modelos às vezes se adaptam mais prontamente a estilos de comunicação implícitos (ex: hesitação) do que a práticas culturais explícitas, embora isso varie conforme a cultura.
• Correlação de Adesão à Norma: À medida que a imersão cultural de uma persona (adesão às normas) aumenta, a adaptação do modelo declina drasticamente. Os modelos tratam alta especificidade cultural como comportamento atípico (outlier), recorrendo a respostas generalizadas.

Significância e Alegações

O artigo alega que o CCBENCH fornece um método rigoroso para avaliar como os LLMs lidam com a fluidez e multiplicidade dos valores humanos, indo além da pertença cultural binária.

A principal significância do trabalho reside em expor um "gap de competência":

1. Resistência vs. Sensibilidade: LLMs modernos são proficientes em resistir à estereotipagem (identificar corretamente quando um usuário não adere a uma norma), mas consistentemente falham na sensibilidade cultural (integrar ativamente valores não ocidentais quando sinalizados).
2. Insuficiência do Alinhamento Atual: Mesmo quando fornecidos com definições de norma explícitas como um limite superior teórico, os modelos falham em se adaptar consistentemente, sugerindo que as técnicas de alinhamento atuais são insuficientes para uma verdadeira competência cultural.
3. Chamado para Cuidados Matizados: Os achados argumentam contra recomendações de "tamanho único". Os autores afirmam que alcançar uma competência cultural equitativa requer dados de treinamento multiculturais mais ricos e técnicas que respeitem a natureza diversa, dinâmica e muitas vezes implícita das identidades globais.

Os autores concluem que, embora o benchmark seja limitado a seis culturas e dependa de personas simuladas, ele serve como uma fundação necessária para o desenvolvimento de IAs que possam navegar em contextos culturais interseccionais e multifacetados em domínios de alto risco, como a saúde.