All Eyes on the Ranker: Participatory Auditing to Surface Blind Spots in Ranked Search Results

1. Problema e Motivação

Os motores de busca são tecnologias fundamentais para o acesso à informação pública, mas suas avaliações tradicionais são predominantemente centradas no modelo (métricas técnicas, julgamentos de relevância por especialistas e análises baseadas em saída). Essas abordagens frequentemente ignoram como os usuários finais experienciam a responsabilidade (accountability), os danos e a confiança nos sistemas de busca.

Com a ascensão de modelos de aprendizado de máquina e redes neurais (como transformadores) que interpretam semanticamente as consultas, os sistemas de busca tornam-se mais convincentes, mas também mais opacos. O problema central é que as auditorias convencionais não conseguem capturar:

• Como os danos se manifestam cumulativamente na experiência do usuário.
• As lacunas de responsabilidade percebidas pelos usuários.
• A capacidade dos usuários de detectar manipulações ou viéses em modelos neurais sofisticados.

O artigo argumenta que a auditoria participativa é essencial para revelar essas "pontos cegos" (blind spots), especialmente sob novos quadros regulatórios como a Lei de Serviços Digitais (DSA) e a Lei de IA da UE, que exigem transparência e mitigação de riscos baseados na experiência do usuário.

2. Metodologia

Os autores conduziram três oficinas de auditoria participativa com um total de 21 participantes (recrutados em universidades no Reino Unido, com diversidade demográfica e sem pré-requisitos técnicos em IA).

Configuração Experimental:

• Interface Personalizada: Um sistema de busca construído sobre o framework PyTerrier, utilizando um snapshot da Wikipedia (corpus do TREC Fair Ranking Track).
• Modelos de Ranqueamento Comparados:
  1. BM25: Um ranqueador léxico (baseado em palavras-chave) usado como baseline.
  2. MonoT5: Um reranker semântico neural, esperado para produzir resultados mais coerentes semanticamente.
• Estrutura das Oficinas (4 Tarefas):
  1. Tarefa 1 (BM25): Consulta "famous doctor" (médico famoso). Resultados intencionalmente pobres para estabelecer uma linha de base de expectativas.
  2. Tarefa 2 (MonoT5): Mesma consulta, mas com o modelo neural. Resultados semanticamente superiores para comparar a percepção de competência.
  3. Tarefa 3 (Transparência e Controle): Interface expandida permitindo alternar entre modelos, visualizar metadados (país, visualizações) e usar um filtro de "auto-fairness".
  4. Tarefa 4 (Manipulação Adversária): Consulta "Tylenol" com um modelo MonoT5. Um artigo biográfico foi manipulado via keyword injection (injeção de palavras-chave como "Tylenol", "relevant", "true") para subir artificialmente para o top 5, explorando vulnerabilidades do modelo.

Análise de Dados:
Os dados (transcrições de áudio, anotações em post-its e diagramas de pipeline) foram analisados através de análise temática reflexiva. Os participantes foram incentivados a narrar causalidades, identificar danos e mapear onde desejavam transparência e mecanismos de recurso (recourse) no pipeline de busca.

3. Contribuições Principais

O artigo oferece três contribuições distintas:

1. Conceitual: Argumenta que a auditoria participativa deve ser entendida como complementar às auditorias tradicionais baseadas em especialistas, focando em normas definidas pelos stakeholders (usuários) em vez de apenas métricas técnicas.
2. Empírica: Apresenta uma taxonomia de impactos percebidos pelos usuários em resultados de busca ranqueados, categorizando danos em quatro níveis: epistêmicos, representacionais, infraestruturais e sociais a jusante (downstream).
3. Metodológica: Opera a auditoria participativa de Recuperação de Informação (RI) através de oficinas estruturadas que comparam modelos, variam affordances de interface e incluem manipulação adversária, oferecendo um método para estudar a auditabilidade.

4. Resultados e Descobertas

A. Descoberta de Impactos (Resposta à RQ1)

A auditoria participativa revelou danos que auditorias de saída focadas não capturam:

• Impactos Epistêmicos: Desinformação, viés de confirmação, e a "autoridade epistêmica" atribuída erroneamente a modelos neurais.
• Impactos Representacionais: Padrões sistêmicos de visibilidade, omissão de perspectivas minoritárias e homogeneidade nos resultados.
• Impactos Infraestruturais: Proveniência opaca do corpus, falta de mecanismos de recurso e suscetibilidade à manipulação em componentes do pipeline.
• Impactos Sociais a Jusante: Polarização política, reforço de estereótipos e concentração de poder nas empresas provedoras de IA.

B. O Paradoxo da Confiança e Limites da Auditoria (Resposta à RQ2)

Uma descoberta crítica foi que a competência percebida do sistema reduz o escrutínio crítico.

• Quando os participantes interagiram com o modelo neural (MonoT5), que produziu resultados semanticamente coerentes, eles desenvolveram confiança.
• Na Tarefa 4 (Manipulação Adversária), essa confiança fez com que os participantes aceitassem os resultados manipulados como genuínos. Eles só questionaram a manipulação quando explicitamente provocados pelos facilitadores.
• Isso demonstra que a "auditabilidade" não é garantida apenas pelo contexto de auditoria; ela é condicionada pela confiança acumulada e pela percepção de competência do sistema.

C. Necessidade de Transparência e Recurso

Os participantes não queriam apenas explicarções post-hoc (por que este resultado apareceu?), mas sim mecanismos de recurso (como contestar ou corrigir o resultado). Eles expressaram um desejo profundo de visibilidade sobre todo o pipeline: corpus de dados, lógica do modelo e mecanismos de recurso. A transparência sem capacidade de ação foi vista como uma "ilusão de responsabilidade".

5. Significado e Conclusão

O estudo conclui que a auditoria participativa desempenha um papel dual e reflexivo:

1. Ampliação do Escopo: Torna visíveis danos e responsabilidades vivenciados pelos usuários (especialmente danos cumulativos e sociais) que métricas técnicas (como NDCG ou MAP) ignoram.
2. Exposição de Limites: Revela as condições sociotécnicas sob as quais a auditoria falha. O fato de os usuários confiarem cegamente em modelos neurais "competentes" e falharem em detectar manipulações indica que a alfabetização em auditoria e o ceticismo crítico não são inerentes; eles precisam ser ativamente suportados.

Implicações Práticas:
Para reguladores e desenvolvedores de IA, o trabalho sugere que a conformidade com leis como a DSA não pode depender apenas de auditorias técnicas de especialistas. É necessário integrar a perspectiva do usuário para identificar lacunas de responsabilidade reais. Além disso, a confiança excessiva em modelos de IA pode ser um vetor de risco, exigindo que os sistemas de busca incorporem mecanismos que mantenham o usuário engajado criticamente, mesmo quando o sistema parece funcionar perfeitamente.