An Investigation of Linguistic Biases in LLM-Based Recommendations

1. Declaração do Problema

O artigo investiga vieses linguísticos em sistemas de recomendação baseados em Modelos de Linguagem de Grande Escala (LLM). Especificamente, examina se os LLMs alteram suas recomendações com base em variações dialetais (diferenças superficiais de sintaxe e forma), mesmo quando a intenção semântica da consulta do usuário permanece idêntica.

Os autores argumentam que os sistemas de recomendação podem infringir a autonomia descritiva ao direcionar o comportamento do usuário para resultados pré-determinados com base em pistas linguísticas latentes (por exemplo, dialeto) em vez de preferências explícitas do usuário. Embora vieses relacionados a gênero, raça e idade sejam bem estudados, vieses decorrentes de dialeto (por exemplo, inglês americano do Sul vs. inglês indiano) e alternância de código (mistura de hindi e inglês) em contextos de recomendação permanecem pouco explorados.

2. Metodologia

Design Experimental

O estudo emprega um cenário de início frio (prompting zero-shot sem ajuste fino em dados de interação do usuário) para isolar vieses inerentes aos modelos.

• Tarefas: Recomendações de restaurantes e Recomendações de produtos.
• Dialetos Testados:
  1. Inglês Americano do Sul (AE): Selecionado como o maior grupo de sotaque regional dos EUA.
  2. Inglês Indiano (IE): Inglês indiano padronizado.
  3. Alternância de Código Hindi-Inglês (CS): Uma mistura de hindi e inglês (por exemplo, "Arre yaar, I'm dying of hunger...").
• Conjuntos de Dados:
  • Restaurantes: Yelp Open Dataset (2023). Subconjuntos de restaurantes de culinária "Americana" e "Indiana" foram equilibrados.
  • Produtos: Walmart Product Reviews Dataset (2020). Categorias incluíram Esportes, Saúde, Cuidados Pessoais, Roupas, Casa, Beleza e Exercício.
• Estratégia de Prompting:
  • Os LLMs receberam uma lista equilibrada de 100 itens (50 restaurantes americanos/50 indianos ou 100 produtos por categoria).
  • Foi solicitado ao LLM que selecionasse as 20 melhores recomendações desta lista.
  • Os prompts variaram apenas pelo dialeto (por exemplo, "Onde é um bom lugar para comer?" vs. "Onde posso conseguir um bom lugar para comer?" vs. "Kahan milta hai tasty food?").
  • Generalização: Para garantir robustez, o estudo utilizou 20 sementes aleatórias diferentes para gerar listas equilibradas únicas para cada combinação de consulta/dialeto, resultando em 600 listas por tarefa.

Modelos Avaliados

Três famílias de modelos foram testadas com duas variantes de tamanho cada para analisar o efeito do tamanho dos parâmetros:

1. Llama-3.1: 8B e 70B parâmetros.
2. GPT-OSS: 20B e 120B parâmetros.
3. Mistral: 7B-instruct e mistral-small-3.1 (24B).

Análise Estatística

• Variável Dependente: Contagens agregadas de itens recomendados por tipo de culinária (para restaurantes) ou categoria de produto (para produtos).
• Variáveis Independentes: Tipo de dialeto (AE, IE, CS), Tamanho do Modelo e suas interações.
• Modelo: Regressão de Efeitos Mistos Lineares (usando lmerTest em R).
  • Efeitos Fixos: Dialeto, Tamanho do Modelo e interações.
  • Efeitos Aleatórios: ID da Pergunta e ID da Semente.
• Testes: Testes de razão de verossimilhança para efeitos fixos, seguidos por comparações pareadas post-hoc (corrigidas por Bonferroni) das médias marginais estimadas.

3. Principais Contribuições

• Novidade na Detecção de Vieses: Este é um dos primeiros estudos a isolar especificamente vieses dialetais e de alternância de código em sistemas de recomendação de LLM, distintos de vieses demográficos ou baseados em conteúdo.
• Análise de Início Frio: Ao evitar o ajuste fino, o estudo revela vieses inerentes presentes em modelos fundacionais pré-treinados antes que quaisquer medidas de treinamento corretivo ou fornecimento de contexto sejam aplicadas.
• Evidência Estatística Granular: O uso de modelos de efeitos mistos em 20 sementes fornece evidências estatisticamente significativas de que variações linguísticas de superfície alteram significativamente as distribuições de recomendação.

4. Principais Resultados

Recomendações de Restaurantes

• Sensibilidade ao Dialeto: Todos os modelos testados mostraram sensibilidade estatisticamente significativa ao dialeto.
  • Llama-3.1: Mostrou a maior sensibilidade. O modelo 70B recomendou significativamente mais restaurantes indianos quando prompted com prompts de Alternância de Código (CS) e Inglês Indiano (IE) em comparação com o Inglês Americano (AE).
  • Mistral: O modelo mistral-small-3.1 (24B) mostrou sensibilidade, recomendando mais restaurantes indianos com prompts de IE do que com prompts de AE.
  • GPT-OSS: Mostrou a menor sensibilidade, provavelmente devido a capacidades de raciocínio superiores que permitem ao modelo derivar a intenção semântica apesar das variações de superfície.
• Tendências de Tamanho do Modelo: Nenhuma tendência universal foi encontrada onde modelos maiores fossem sempre mais ou menos enviesados. No entanto, modelos maiores nas famílias Mistral e Llama tendiam a recomendar menos restaurantes indianos com prompts de AE em comparação com suas contrapartes menores, mas mais com prompts de CS/IE.

Recomendações de Produtos

• Mudanças de Categoria: O dialeto influenciou o tipo de categorias de produtos recomendadas.
  • Beleza e Casa: Modelos maiores (Llama-3.1-70B, Mistral-small-3.1) recomendaram mais produtos de Beleza com prompts de IE. Modelos menores (Llama-3.1-8B, Mistral-7B) recomendaram mais produtos de Casa com prompts de CS.
  • Impacto da Alternância de Código: O modelo Llama-3.1-70B foi particularmente sensível a prompts de CS, recomendando mais produtos em 4 de 7 categorias (Esportes, Casa, Roupas, Exercício) em comparação com prompts de AE/IE.
• Diferenças entre Famílias de Modelos:
  • Llama-3.1: Apresentou as diferenças mais significativas baseadas em dialeto e tamanho do modelo em todas as categorias.
  • GPT-OSS: Mostrou as menores diferenças, reforçando a hipótese de que melhores capacidades de raciocínio mitigam o viés linguístico de superfície.

5. Significado e Implicações

• Preocupações Éticas (Autonomia Descritiva): As descobertas sugerem que os LLMs podem inferir a identidade e as preferências do usuário com base puramente na forma linguística (dialeto), potencialmente reforçando estereótipos e estreitando a diversidade de escolhas apresentadas aos usuários sem seu consentimento.
• Design de Sistema: O estudo desafia a suposição de que escalar o tamanho do modelo sozinho elimina o viés. Na verdade, modelos maiores (como o Llama-3.1-70B) podem exibir vieses dependentes de dialeto mais fortes em contextos específicos.
• Justiça na Recomendação: Se os sistemas de recomendação adaptarem as saídas com base apenas no dialeto, os usuários podem receber sugestões restritas ou estereotipadas. Isso destaca uma necessidade crítica de comportamento invariante ao dialeto em sistemas de IA.
• Direções Futuras: Os autores sugerem estratégias de mitigação, como normalização de prompts, treinamento consciente do dialeto ou decodificação restrita à justiça, para garantir que as recomendações sejam impulsionadas pela intenção do usuário e não por artefatos linguísticos.

Conclusão

O artigo demonstra que o dialeto sozinho é um fator significativo nos resultados de recomendação baseados em LLM. Mesmo com intenção semântica idêntica, prompts em inglês indiano ou alternância de código hindi-inglês produzem sistematicamente distribuições de recomendação diferentes em comparação com o inglês americano. Este viés é mais pronunciado na família Llama-3.1 e varia por categoria de produto, indicando que os LLMs atuais codificam associações latentes entre a forma linguística e preferências culturais/demográficas que exigem mitigação ativa.