Resumo Técnico: Além das Auditorias de Terceira Pessoa: Auditoria de Interação Situada para Pesquisa de Viés em LLMs Centrada no Usuário

1. Declaração do Problema

A pesquisa atual sobre viés em Grandes Modelos de Linguagem (LLMs) é dominada por auditorias de terceira pessoa. Essas avaliações tratam o LLM como um observador ou tomador de decisão externo, avaliando como o modelo representa ou avalia grupos demográficos (por exemplo, gerando um currículo para um gênero específico ou resumindo uma história sobre uma nacionalidade específica). Esse paradigma assume um usuário neutro e indiferenciado, cuja identidade é irrelevante para a interação.

No entanto, essa abordagem cria um ponto cego estrutural: na interação humano-IA (HAII) do mundo real, o usuário é um participante ativo, não um sujeito externo. Os LLMs são cada vez mais usados em interações pessoais e abertas (ex: aconselhamento de carreira, orientação de saúde, depuração de código) onde o modelo constrói implicitamente uma representação do usuário com base em sinais de entrada. Consequentemente, o viés pode não se manifestar na forma como o modelo descreve outros, mas em como ele trata o interlocutor com base na identidade percebida. Os benchmarks existentes falham em capturar esses vieses de "primeira pessoa", onde solicitações idênticas geram respostas sistematicamente diferentes dependendo de quem está perguntando.

2. Metodologia: Auditoria de Interação Situada (SIA)

Os autores propõem a Auditoria de Interação Situada (SIA), um framework projetado para estudar como os sinais de perfil do usuário moldam a qualidade, o conteúdo e o tom da resposta do LLM.

2.1 Tipos de Sinais de Perfil do Usuário

A SIA define três tipos de sinais que transmitem a identidade do usuário, variando do implícito ao explícito:

• S1 (Marcadores Sociodemográficos Implícitos): Características superficiais inferidas pelo modelo sem identificação explícita, como nomes (que carregam associações etnorraciais e de classe) ou referências geográficas.
• S2 (Estilo de Escrita e Dialeto): Formas linguísticas incluindo registro, formalidade, características dialetais e padrões gramaticais (ex: espanhol influenciado pelo Guarani ou AAVE) que sinalizam identidade regional e social.
• S3 (Identidade Declarada): Autodescrições explícitas incorporadas no prompt (ex: "Eu sou gay", "Eu tenho um diagnóstico").

2.2 Princípios de Design

Para garantir validade ecológica e rigor, os estudos de SIA devem aderir a cinco princípios:

1. Equivalência Semântica: As variantes de prompt devem ser palavra por palavra idênticas, exceto pelo sinal de perfil do usuário.
2. Validade Ecológica: Os sinais devem refletir a linguagem naturalmente ocorrida, em vez de extremos construídos.
3. Análise de Múltiplos Sinais: Os sinais devem ser estudados isoladamente e em combinação (ex: gênero $\times$ status socioeconômico) para capturar efeitos interseccionais.
4. Design de Interação Realista: As auditorias devem refletir padrões de uso do mundo real, idealmente estendendo-se além de trocas de turno único.
5. Medição de Resultados Diversos: O viés em interações abertas é contínuo, não binário. As métricas devem capturar gradações em qualidade, tom e conteúdo.

2.3 Medição de Resultados

A SIA operacionaliza a detecção de viés através de três famílias de métricas:

• Qualidade Lexical: Diversidade de vocabulário (razão tipo-token), elaboração estrutural (profundidade da árvore sintática) e extensão da resposta.
• Postura e Enquadramento: A razão entre hesitações (hedges - linguagem tentativa) e reforços (boosters - linguagem assertiva), atribuição de agência e análise de sentimento.
• Cobertura de Conteúdo: A presença ou ausência de elementos informacionais específicos, medida via avaliação por LLM-como-juiz contra listas de verificação específicas da tarefa e a frequência de atribuições de papéis estereotipados (via razões de chances de substantivos/adjetivos específicos).

3. Estudo de Caso: Validação Empírica

Para fundamentar o framework, os autores conduziram uma auditoria controlada no contexto latino-americano (Chile).

• Design: Um experimento de matched-guise usando 118 perfis de usuário construídos a partir de nomes e sobrenomes validados por associações demográficas no Chile. O estudo cruzou Gênero (Masculino/Feminino) e Status Socioeconômico (SES) (Alto/Baixo).
• Tarefas: 27 prompts em 9 domínios (ex: Emprego, Tecnologia, Saúde) pedindo conselhos de "como fazer".
• Modelos: GPT-4o mini e Qwen-2.5-7B-instruct.
• Procedimento: Prompts idênticos foram injetados com diferentes perfis de usuário como mensagens de sistema. As respostas foram analisadas usando as famílias de métricas da SIA.

Resultados Principais

• Viés Específico de Domínio: Os efeitos agregados foram pequenos, mas o tratamento diferencial significativo emergiu em domínios específicos, particularmente em Emprego.
• Tratamento de Status Alto vs. Status Baixo (GPT-4o mini):
  • Tom: Perfis de status alto receberam respostas com sentimento positivo significativamente maior e menos hesitações. Perfis de status baixo receberam respostas com maior sentimento neutro, aumento de hesitações e mais reforços, sugerindo um registro condescendente ou excessivamente cauteloso.
  • Conteúdo: Respostas de status alto utilizaram vocabulário orientado à ação e focado em redes (ex: "rede", "capacidade", "personalização"). Respostas de status baixo basearam-se em termos afetivamente calorosos, mas operacionalmente genéricos (ex: "qualidade", "excepcional", "sucesso").
  • Tecnicidade: Contrariando a hipótesia de "simplificação", o modelo atribuiu pontuações de tecnicidade mais altas para perfis de status baixo no domínio de Emprego, embora a postura tenha permanecido hesitante.
• Dependência do Modelo: O modelo Qwen replicou o achado de que sinais de SES disparam tratamento diferencial, mas inverteu a direção do sentimento (atribuindo maior sentimento positivo aos perfis de status baixo), indicando que, embora o fenômeno do viés seja robusto, sua manifestação específica depende do treinamento do modelo.
• Interseccionalidade: O estudo demonstrou que sinais de gênero e SES interagem, produzindo padrões únicos de viés que auditorias de dimensão única perderiam.

4. Principais Contribuições

1. Proposta de Framework: Introdução da Auditoria de Interação Situada (SIA), mudando o foco da representação de terceiros para o viés de interação de primeira pessoa.
2. Tipologia e Princípios: Formalização dos tipos de sinais de perfil do usuário (S1–S3) e cinco princípios de design para conduzir auditorias situadas rigorosas.
3. Evidência Empírica: Um estudo piloto demonstrando que sinais de perfil do usuário (especificamente gênero baseado em nome e SES) alteram sistematicamente as respostas dos LLMs em dimensões lexicais, agênticas e de estereotipagem, invisíveis para as auditorias tradicionais de terceira pessoa.

5. Significância e Agenda de Pesquisa

O artigo argumenta que a SIA representa uma evolução necessária na pesquisa de NLP para fechar a lacuna entre a avaliação técnica e a implantação no mundo real.

• Novas Normas de Avaliação: Os autores propõem a avaliação condicionada ao perfil, onde o desempenho do modelo é pontuado não apenas pela qualidade absoluta, mas pela consistência através de perturbações de perfil de usuário. Isso desafia a suposição de "usuário neutro" inerente aos atuais leaderboards.
• Requisitos de Dataset: Trabalhos futuros exigem corpora de interação naturalística com metadados demográficos e léxicos de sinais culturalmente fundamentados, pois datasets centrados em inglês não podem ser diretamente traduzidos para outros contextos linguísticos.
• Pontes Metodológicas: A SIA pede a integração de métodos da sociolinguística (técnicas de matched guise), HCI (design participativo) e sociologia para entender melhor os efeitos interseccionais.
• Problemas Abertos: O artigo identifica a identificação causal (distinguir efeitos de pré-treinamento vs. ajuste de instrução), efeitos de interação de sinais (como os modelos lidam com sinais conflitantes) e estratégias de mitigação (equilibrar justiça com sensibilidade ao contexto) como áreas críticas para pesquisas futuras.

Os autores concluem que, embora seu estudo de caso seja limitado a um design de turno único e a um contexto cultural específico, ele serve como prova de conceito de que o viés de interação de primeira pessoa é real, detectável e requer um novo paradigma de avaliação.