Responsible Intelligence in Practice: A Fairness Audit of Open Large Language Models for Library Reference Services

1. Problema e Contexto

As bibliotecas (acadêmicas e públicas) estão explorando a integração de Modelos de Linguagem Grandes (LLMs) para escalar seus serviços de referência. No entanto, surge uma questão crítica de justiça algorítmica: os LLMs podem reproduzir vieses sociais embutidos em seus dados de treinamento, discriminando usuários com base em identidade demográfica (raça, etnia, sexo), o que violaria os princípios éticos fundamentais da biblioteconomia de serviço imparcial.

Estudos anteriores sobre serviços de referência humanos documentaram disparidades no atendimento baseadas em nomes percebidos como pertencentes a minorias raciais ou de gênero. O objetivo deste estudo é auditar se LLMs de código aberto (que permitem implantação local e governança de dados) apresentam diferenciação sistemática em suas respostas quando atuam como bibliotecários virtuais, dependendo do sexo e da raça/etnia do solicitante.

2. Metodologia

O estudo empregou um protocolo de avaliação rigoroso e replicável, composto pelas seguintes etapas:

• Geração de Dados Sintéticos (Simulação):

  • Foram criados 2.500 pares de consulta-resposta para cada modelo, divididos entre cenários de biblioteca acadêmica (3 tipos de consultas) e biblioteca pública (3 tipos de consultas práticas).
  • Síntese Demográfica: Os nomes dos usuários foram sintetizados para codificar 12 grupos demográficos (combinações de Sexo: Masculino/Feminino × Raça/Etnia: 6 categorias, incluindo Branco, Negro, Asiático, etc.), baseando-se em dados do SSA (EUA) e do Censo dos EUA.
  • Prompts: Os modelos foram instruídos a agir como bibliotecários "úteis, respeitosos e honestos" de instituições específicas.

• Modelos Avaliados:
  Três LLMs de código aberto de última geração foram testados:

  1. Llama-3.1 8B (Meta)
  2. Gemma-2 9B (Google)
  3. Ministral 8B (Mistral AI)
     Configuração: Temperatura de 0.7, 5 sementes aleatórias, geração de até 4.096 tokens.

• Protocolo de Avaliação de Justiça (FEP - Fairness Evaluation Protocol):
  O método segue duas etapas para detectar e interpretar vieses:

  1. Classificação Diagnóstica (Detecção): Extração de características TF-IDF das respostas. Treinamento de classificadores (Regressão Logística, MLP, XGBoost) para tentar prever o grupo demográfico do usuário (Sexo ou Raça) apenas com base no texto da resposta do LLM. Se a precisão for significativamente superior ao acaso, indica uma diferença sistemática.
  2. Interpretação (Análise de Marcadores): Se a classificação for significativa, um modelo de regressão logística estatística é ajustado para identificar quais palavras específicas (marcadores lexicais) impulsionam a diferenciação. O uso de gráficos de vulcão visualiza a significância estatística versus a magnitude do efeito.

3. Principais Contribuições

• Aplicação de Auditoria em Domínio Específico: Adaptação de protocolos de detecção de viés para o contexto específico de serviços de referência de bibliotecas, distinguindo entre variação contextual legítima e discriminação prejudicial.
• Foco em Modelos de Código Aberto: Avaliação de modelos que podem ser hospedados localmente, oferecendo às instituições controle sobre dados e configuração, um aspecto crucial para a governança de IA em bibliotecas.
• Metodologia Híbrida: Combinação de aprendizado de máquina (classificadores) com análise linguística interpretável para não apenas detectar, mas entender a natureza das diferenças (ex: saudações vs. qualidade do conteúdo).

4. Resultados

Os resultados foram analisados separadamente para as dimensões de Raça/Etnia e Sexo, em ambos os cenários (acadêmico e público):

• Raça e Etnia:

  • Não houve evidência convincente de diferenciação sistemática.
  • A precisão dos classificadores para prever a raça/etnia do usuário a partir das respostas dos modelos ficou próxima do nível de acaso (chance) em todos os três modelos e em ambos os cenários.
  • Nenhum dos 18 testes estatísticos (3 modelos × 3 classificadores × 2 cenários) alcançou significância estatística após correção de Bonferroni.

• Sexo (Gênero):

  • Resultado Geral: A maioria dos modelos tratou homens e mulheres de forma equitativa.
  • Exceção Detectada: O modelo Llama-3.1 no cenário de biblioteca acadêmica mostrou uma diferenciação estatisticamente significativa (embora pequena em magnitude).
  • Causa da Diferenciação: A análise revelou que a palavra "dear" (caro/a) era usada com muito mais frequência em respostas a usuários femininos (66,2%) do que masculinos (48,4%).
  • Natureza do Viés: A diferença foi puramente estilística (saudação) e não afetou a qualidade substantiva, a completude ou a utilidade da assistência de referência. Não houve discriminação no conteúdo da resposta.
  • Nos cenários de biblioteca pública e nos outros dois modelos (Ministral e Gemma-2), não houve diferenciação significativa baseada no sexo.

5. Significado e Implicações

• Potencial para Serviços Justos: Os LLMs modernos de código aberto demonstraram ser sensíveis a sinais de raça/etnia e, na maioria dos casos, ao sexo, sugerindo que podem ser ferramentas seguras para expandir o acesso à informação sem reforçar disparidades históricas observadas em serviços humanos.
• A Importância da Auditoria Contínua: A detecção de um viés sutil (saudação) no Llama-3.1 destaca que a justiça não é uma propriedade estática. Mesmo modelos avançados podem exibir padrões aprendidos de dados de treinamento (como normas de polidez de gênero) que requerem monitoramento.
• Governança Participativa: O artigo argumenta que a "Inteligência Responsável" nas bibliotecas exige mais do que auditorias técnicas. É necessário envolver comunidades afetadas na governança, usar auditorias computacionais em conjunto com julgamento profissional de bibliotecários e realizar avaliações recorrentes à medida que os modelos evoluem.
• Limitações e Futuro: O estudo focou em consultas em inglês padrão e identidades binárias de sexo. O viés pode emergir em outros contextos (ex: dialetos como o Inglês Americano Africano ou identidades não-binárias), sugerindo a necessidade de futuras pesquisas com abordagens interseccionais e linguísticas mais diversas.

Em conclusão, o estudo fornece evidências empíricas de que os LLMs de código aberto atuais têm o potencial de fornecer serviços de referência equitativos, mas enfatiza que a implementação responsável exige vigilância contínua e estruturas de governança que priorizem os valores profissionais das bibliotecas.