Resumo Técnico: LLMs Inferem o Contexto Cultural, mas Falham em Aplicá-lo ao Responder

Declaração do Problema

Pesquisas recentes indicam que os Modelos de Linguagem de Grande Escala (LLMs) tendem a representar excessivamente culturas dominantes e eurocêntricas/ocidentais, enquanto marginalizam outras. Embora trabalhos anteriores tenham estabelecido que os LLMs possuem conhecimento cultural, permanece incerto se os modelos conseguem aplicar efetivamente esse conhecimento para adaptar suas respostas ao contexto cultural de um usuário específico. Especificamente, o artigo investiga se os LLMs podem atuar como "falantes pragmáticos" (Frank e Goodman, 2012) que personalizam saídas — como unidades de medida, expressões de tempo e quantificadores — para maximizar a compreensão do usuário com base em pistas culturais inferidas, em vez de recorrer a um padrão global único ou aos seus próprios priors de treinamento.

Metodologia

O Conjunto de Dados CAPRI

Os autores introduzem o CAPRI (Cultural and Pragmatic Response Inference), um conjunto de dados projetado para distinguir a capacidade de um modelo de inferir o contexto cultural de sua capacidade de agir sobre essa inferência.

• Estrutura: O conjunto de dados consiste em 4.992 conversas fundamentadas em imagens (configuração de Visual Question Answering - VQA). Cada conversa inclui um usuário fazendo uma pergunta sobre uma imagem (ex: "Qual é a temperatura?") precedida por um histórico de diálogo contendo níveis variados de pistas culturais.
• Pistas Culturais: O conjunto de dados apresenta seis níveis de força de pista, variando de NULL (sem histórico) a EXPLICITFULL (o usuário declara explicitamente seu país). Níveis intermediários incluem Pistas Implícitas (ex: mencionar uma plataforma de e-commerce específica como Fnac.com ou um formato de número de telefone como 06 12 34 56 78) e Neutro (declarações culturalmente agnósticas).
• Culturas: Dez países são representados como proxies para cultura: Brasil, China, França, Índia, Irã, Israel, Japão, Coreia do Sul, Reino Unido e EUA.
• Dimensões da Tarefa:
  1. Conceitos Objetivos (Tipo 1): Unidades de medida para temperatura, distância, velocidade, tamanho e preço. Estas possuem respostas de verdade fundamental (ground-truth) baseadas no país do usuário (ex: °C para a França, °F para os EUA).
  2. Conceitos Subjetivos (Tipo 2): Expressões de tempo (ex: "manhã" vs. "tarde" para 18h) e quantificadores (ex: "poucos" vs. "alguns"). Estes carecem de uma verdade fundamental, mas exibem variações culturais conhecidas.

Configuração Experimental

O estudo avalia modelos de última geração (incluindo Qwen3-VL, Gemma-4, Llama-3.2 e Gemini-3.1) através de duas tarefas primárias:

1. Tarefa 1 (Inferência de Contexto - BG): Pedir explicitamente ao modelo para inferir o país do usuário a partir do histórico da conversa.
2. Tarefa 2 (Visual Question Answering - VQA): Pedir ao modelo para responder à pergunta do usuário sobre a imagem. Crucialmente, o modelo não é explicitamente instruído a inferir o contexto aqui; ele deve raciocinar implicitamente sobre a cultura do usuário para selecionar a unidade ou expressão apropriada.

Os autores também testam o impacto do raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT), comparando especificamente o "Plain CoT" (raciocínio padrão) contra o "Pragmatic CoT" (instruir explicitamente o modelo a inferir o contexto antes de responder).

Principais Contribuições

1. Conjunto de Dados CAPRI: Um recurso inovador que separa a recuperação de conhecimento cultural da adaptação cultural, permitindo que pesquisadores meçam a lacuna entre conhecer uma cultura e usar esse conhecimento.
2. Formalização da Adaptação Pragmática: O artigo enquadra o problema através da lente do framework de Atos de Fala Racionais (Rational Speech Act), testando se os modelos podem marginalizar sobre contextos inferidos para produzir a resposta comunicativamente mais eficaz.
3. Avaliação Sistemática: Um benchmark abrangente através de múltiplas famílias de modelos, tamanhos e modos de raciocínio, cobrindo dimensões culturais tanto objetivas quanto subjetivas.

Resultados

1. A Lacuna entre Inferência e Aplicação

Experimentos revelam uma discrepância significativa entre a capacidade de um modelo de inferir o contexto cultural e sua capacidade de adaptar as respostas de acordo.

• Inferência: Os modelos são quase perfeitos na identificação do contexto do usuário quando fornecidos com apenas 1 ou 2 pistas implícitas (a precisão salta de quase 0% para ~80%).
• Aplicação: Apesar da alta precisão de inferência, os modelos frequentemente falham em adaptar suas respostas de VQA para a cultura inferida. Por exemplo, um modelo pode identificar corretamente que um usuário é francês, mas ainda assim responder a uma pergunta de temperatura em Fahrenheit.
• Prompt Explícito: A lacuna diminui significamente quando os modelos são guiados explicitamente a realizar o raciocínio pragmático passo a passo (Pragmatic CoT), sugerindo que a capacidade existe, mas não é acionada por padrão.

2. Escala e Raciocínio

• Escalabilidade: Modelos maiores (ex: Qwen-32B, Gemma-31B) geralmente fecham a lacuna entre inferência e aplicação melhor do que modelos menores, embora uma lacuna persista mesmo nos maiores modelos sem orientação de raciocínio explícita.
• Profundidade de Raciocínio: O "Pragmatic CoT" produz traços de raciocínio mais profundos, frequentemente ligando explicitamente a identidade inferida à resposta final via conectivos causais (ex: "O usuário é de X, então a unidade deve ser Y").

3. Priors Culturais e Vieses

• Priors Padrão: Na ausência de pistas (condição NULL), os modelos exibem priors não neutros. Eles tendem a prever os EUA como o país do usuário, mas adotam o sistema métrico para as unidades (contradizendo as convenções dos EUA).
• Viés de Origem: Os modelos frequentemente inclinam-se para seu país de origem. Por exemplo, o Qwen (desenvolvido por uma empresa chinesa) mostra um forte prior para a China, enquanto o Gemini e o Llama mostram um viés para os EUA.
• Adaptação Subjetiva: Para conceitos subjetivos, os modelos mostram um aumento na divergência das respostas conforme as pistas culturais se acumulam. No entanto, suas mudanças são frequentemente uniformes entre as culturas em vez de culturalmente específicas, sugerindo que eles reagem às pistas, mas não internalizam totalmente interpretações culturais distintas.

Significância e Alegações

O artigo afirma que o CAPRI fornece um recurso crítico para estreitar a lacuna entre o conhecimento cultural e a geração culturalmente adaptável. Os autores argumentam que os LLMs atuais armazenam fatos culturais de forma isolada, mas falham em conectá-los dinamicamente durante a geração.

• Limitação dos Modelos Atuais: O estudo demonstra que possuir conhecimento cultural é insuficiente; os modelos requerem orientação explícita ou melhor raciocínio arquitetural para agir como falantes pragmáticos que personalizam a resposta ao contexto do usuário.
• Direção Futura: O trabalho convoca pesquisas futuras para dotar os LLMs da habilidade de realizar automaticamente esse raciocínio pragmático, indo além do conhecimento cultural estático para uma adaptação dinâmica e consciente do contexto.
• Modéstia: Os autores reconhecem limitações, como o uso de países como proxies para cultura (o que pode reforçar estereótipos) e o uso do inglês como língua de interação, que introduz seus próprios priors. Eles apresentam o CAPRI como um passo em direção a, e não uma solução completa para, uma IA culturalmente competente.