Does Reasoning Make Search More Fair? Comparing Fairness in Reasoning and Non-Reasoning Rerankers

O estudo compara sistematicamente a justiça entre rerankers com e sem raciocínio, descobrindo que os modelos de raciocínio não melhoram nem prejudicam a equidade em comparação com abordagens tradicionais, mantendo as características de justiça da classificação de entrada.

O essencial

O Raciocínio Torna a Busca Mais Justa?

Uma Explicação Simples (em Português)

Imagine que você tem uma biblioteca gigante e precisa encontrar os melhores livros sobre um tema, como "vela e tipos de barcos". Você pede a um assistente inteligente para escolher os 10 melhores livros para você.

Há dois tipos de assistentes:

1. O Assistente Rápido (Não-Raciocinante): Ele olha rapidamente para o título e o resumo, compara com o que você pediu e entrega a lista. É como um funcionário experiente que já sabe o que é popular.
2. O Assistente Pensativo (Raciocinante): Antes de entregar a lista, ele "pensa alto". Ele diz: "Hmm, este livro é bom, mas aquele outro tem uma perspectiva diferente. Vamos ver...". Ele gera justificativas antes de decidir.

A grande pergunta deste estudo foi: Será que o "Assistente Pensativo" entrega uma lista mais justa? Ou seja, ele mostra livros de mais lugares diferentes do mundo, de mais gêneros e de mais profissões, ou ele continua focado apenas no que é "popular"?

---

A Analogia do Chef de Cozinha

Pense na busca na internet como um Chef de Cozinha preparando um prato para você.

• A Relevância (O Sabor): O prato precisa ser delicioso. Se o Chef escolher ingredientes ruins, o prato fica sem graça.
• A Justiça (A Diversidade de Ingredientes): O prato deve ter uma boa mistura. Se o prato for feito apenas de batatas, mesmo que seja delicioso, falta variedade. Se o mundo tem 50% de pessoas de um grupo e 50% de outro, o prato (a lista de busca) deveria refletir essa mistura, não apenas o que é mais comum.

Os pesquisadores queriam saber: O Chef que "pensa" antes de cozinhar (Raciocinante) usa ingredientes mais variados do que o Chef que cozinha no automático?

O Que Eles Fizeram?

Eles pegaram um conjunto de dados famoso (o TREC 2022 Fair Ranking Track) que funciona como uma "prova de fogo" para ver se os buscadores são justos. Eles testaram 6 assistentes diferentes (3 pensativos e 3 rápidos) em várias situações:

1. Busca Simples: Usando apenas palavras-chave (ex: "vela, barco").
2. Busca Reescrita: Usando frases naturais (ex: "um resumo básico sobre vela e tipos de barcos").
3. O "Sonho Perfeito" (Oracle): Eles criaram uma lista onde todos os livros eram perfeitamente relevantes, para ver se, mesmo com a melhor qualidade possível, a justiça aparecia.

O Que Eles Descobriram? (O Veredito)

A resposta pode ser um pouco decepcionante, mas é muito importante:

1. Pensar não torna a busca mais justa (nem pior).
O "Assistente Pensativo" não conseguiu magicamente descobrir mais diversidade. Ele continuou entregando listas com a mesma "mistura" de ingredientes que o "Assistente Rápido".

• Analogia: Se você pedir a um chef para pensar mais sobre o prato, mas a geladeira dele só tem batatas, ele continuará fazendo um prato só de batatas. O problema não é a falta de pensamento, é a falta de ingredientes na geladeira.

2. A forma como você pergunta importa muito.
Quando as pessoas faziam perguntas em frases naturais (como "me conte sobre...") em vez de apenas palavras-chave soltas, a qualidade da busca melhorou muito para todos. Mas a justiça continuou a mesma.

3. Alguns grupos são invisíveis.
Eles descobriram que a justiça varia muito dependendo de quem você está procurando.

• Fácil de ver: Gênero, idade e idioma. Os buscadores conseguiam ser justos aqui.
• Difícil de ver: Geografia (de onde a pessoa é). Mesmo quando a busca era perfeita, os buscadores tinham muita dificuldade em mostrar pessoas de países diferentes.
  • Por que? Porque o texto do livro não diz "Este livro é do Brasil". O assistente precisa "adivinhar" isso pelo conteúdo, e ele falha nisso.

A Conclusão em uma Frase

Ter um modelo de Inteligência Artificial que "raciocina" e explica suas escolhas não resolve o problema da injustiça na busca. Se os dados de entrada (os livros na biblioteca) já são desequilibrados, o assistente, seja ele rápido ou pensativo, apenas repetirá esse desequilíbrio.

O Que Precisamos Fazer Agora?

O estudo sugere que não adianta apenas melhorar o "cérebro" do assistente. Precisamos:

1. Encher a geladeira: Garantir que existam mais livros e artigos de pessoas de diferentes lugares e culturas na internet.
2. Mudar a pergunta: Ensinar os sistemas a entenderem melhor o que as pessoas querem, em vez de apenas procurar palavras soltas.
3. Não confiar cegamente: Não podemos achar que, porque a IA é inteligente, ela é justa. Ela precisa ser "treinada" especificamente para ser justa, não apenas para ser rápida ou precisa.

Resumo da Ópera: O raciocínio da IA é ótimo para achar a resposta certa, mas para achar a resposta justa para todos, precisamos mudar o que a IA tem para ler, e não apenas como ela pensa.

Resumo técnico

Título: O Raciocínio Torna a Pesquisa Mais Justa?

Subtítulo: Comparando a Justiça em Rerankers com e sem Raciocínio

1. Problema e Motivação

Os sistemas de busca desempenham um papel crucial na visibilidade de informações e perspectivas. Embora a otimização para relevância seja o objetivo padrão, a justiça (fairness) na classificação é crítica para garantir uma cobertura equitativa de diferentes opiniões e fontes, especialmente em sistemas de tomada de decisão.

Recentemente, modelos de linguagem grandes (LLMs) com capacidades de raciocínio (que geram cadeias de pensamento e justificativas antes de classificar) demonstraram melhorias significativas em métricas de relevância. No entanto, é desconhecido como essas capacidades de raciocínio impactam a justiça da classificação.

• Hipótese 1: O raciocínio poderia ajudar, permitindo que o modelo delibere mais profundamente sobre o contexto e a diversidade.
• Hipótese 2: O raciocínio poderia piorar a justiça, amplificando vieses presentes nos dados de pré-treinamento através de justificativas enviesadas e confiantes.

O objetivo do trabalho é realizar a primeira comparação sistemática entre rerankers baseados em raciocínio e rerankers não baseados em raciocínio para determinar se o raciocínio melhora, piora ou não altera a justiça na recuperação de informações.

2. Metodologia

2.1. Dados e Configuração Experimental

• Dataset: Utilizou-se o conjunto de dados do TREC 2022 Fair Ranking Track, composto por artigos da Wikipédia em inglês.
• Atributos Sensíveis: A justiça foi avaliada em 8 dimensões demográficas: idade, ordem alfabética, gênero, idiomas, ocupação, popularidade, geografia de origem e geografia do assunto.
• Configurações de Recuperação Inicial: Foram testados quatro cenários de recuperação inicial:
  1. BM25 com consultas originais (palavras-chave).
  2. BM25 com consultas reescritas (geradas por LLM para serem mais naturais).
  3. Qwen3-Embedding-8B (recuperação densa) com consultas reescritas.
  4. Fusão (RRF) combinando BM25 e Qwen3.
  5. Oracle Ranking: Uma classificação de referência ideal (nDCG $\approx$ 0.9) para isolar o efeito da justiça quando a relevância é maximizada.

2.2. Modelos Comparados (6 Rerankers)

Os modelos foram divididos em duas categorias, mantendo tamanhos de parâmetros similares para controle experimental:

• Rerankers com Raciocínio (Reasoning):
  • Rank1-7B: Ponto a ponto (pointwise), com cadeias de raciocínio derivadas do DeepSeek-R1.
  • Qwen3-Reranker-8B: Cross-encoder com capacidades de raciocínio.
  • ReasonRank-7B: Lista a lista (listwise), treinado com dados de raciocínio intensivo.
• Rerankers sem Raciocínio (Non-Reasoning):
  • RankZephyr-7B: Lista a lista (listwise), zero-shot.
  • RankLLaMA-7B: Ponto a ponto (pointwise).
  • MonoT5-0.3B: Ponto a ponto (pointwise).

2.3. Métricas

• Relevância: nDCG@10 (Normalized Discounted Cumulative Gain).
• Justiça: AWRF (Attention-Weighted Rank Fairness). Esta métrica mede quão próxima a distribuição de exposição ponderada pela posição está de uma distribuição alvo justa (baseada em demografia real e relevância).
  • M1: Métrica combinada do TREC ($M1 = AWRF \times nDCG$).
• Testes Estatísticos: Testes t pareados para diferenças e TOST (Two One-Sided Tests) para equivalência estatística.

3. Principais Contribuições

1. Primeira Comparação Sistemática: Estabelece a base para entender como o raciocínio em LLMs afeta a justiça em sistemas de busca.
2. Descoberta de Equivalência: Demonstra que, nas implementações atuais, o raciocínio nem melhora nem prejudica a justiça em comparação com abordagens não baseadas em raciocínio.
3. Impacto da Formulação de Consultas: Mostra que a reformulação de consultas (de palavras-chave para linguagem natural) impacta significativamente a relevância, mas não altera a justiça.
4. Limitação de Atributos Demográficos: Identifica que atributos geográficos (especialmente geografia do assunto) apresentam lacunas de justiça consistentes (10-15% menores) em todos os modelos, independentemente da arquitetura.

4. Resultados e Análise

4.1. Relevância vs. Justiça

• Relevância: Todos os rerankers (com e sem raciocínio) melhoraram significativamente a relevância (nDCG) em relação à recuperação inicial (BM25), especialmente com consultas reescritas.
• Justiça (AWRF): A métrica AWRF permaneceu estável (entre 0.33 e 0.35) em todos os modelos, mesmo quando a relevância variou drasticamente (de 0.247 a 1.000).
• Equivalência Estatística: Testes TOST confirmaram que não há diferença estatisticamente significativa na justiça entre rerankers com e sem raciocínio. Ambos preservam as características de justiça da lista de entrada inicial.

4.2. Experimento Oracle (Relevância Controlada)

Ao usar uma classificação "Oracle" onde a relevância é quase perfeita (nDCG $\ge$ 0.9), os autores isolaram o comportamento de justiça:

• Mesmo com relevância perfeita, os rerankers não conseguiram melhorar a justiça além do nível inicial.
• Tendências Fracas:
  • Modelos pointwise com raciocínio mostraram uma ligeira vantagem em AWRF.
  • Modelos listwise com raciocínio mostraram uma ligeira desvantagem (possivelmente devido ao fine-tuning que instrui o modelo a focar apenas na relevância).
• Conclusão: O raciocínio atual foca na correspondência de relevância entre consulta e documento, ignorando atributos demográficos que não estão explicitamente no texto.

4.3. Análise por Atributo Demográfico

• Atributos de Alta Justiça: Idiomas, gênero e idade tiveram as melhores pontuações de justiça.
• Atributos de Baixa Justiça: Geografia do assunto (Subject Geography) consistentemente apresentou as pontuações mais baixas (M1 $\approx$ 0.829 no Oracle, contra 0.968 para ordem alfabética).
• Causa: A informação demográfica (especialmente geográfica) muitas vezes não está explícita no texto do documento. Como os rerankers operam apenas sobre o texto e a lista de candidatos fornecida, eles não podem introduzir diversidade que não existe no pool de documentos inicial.

5. Significado e Conclusão

O estudo conclui que o raciocínio, por si só, não é uma solução mágica para a justiça em sistemas de busca.

• Preservação de Vieses: Os rerankers atuais, sejam eles com raciocínio ou não, tendem a preservar os vieses de justiça da recuperação inicial. Se a lista inicial é desequilibrada geograficamente, o reranker não corrige isso.
• Limitação Fundamental: A justiça baseada em exposição depende da disponibilidade de informações demográficas no texto e na diversidade do corpus de documentos. Se o corpus não contém perspectivas diversas, nenhum algoritmo de reranking (mesmo com raciocínio) pode criar essa diversidade.
• Implicações Futuras:
  • Melhorar a justiça exige intervenções acima do reranking: diversificar coleções de documentos, auditar lacunas de representação e desenvolver estratégias de recuperação que ativamente busquem perspectivas sub-representadas.
  • A formulação de consultas em linguagem natural é mais impactante para a eficácia geral do que a arquitetura do reranker.
  • Futuros trabalhos devem focar em especializar modelos de raciocínio para serem conscientes de atributos de justiça, mas isso não substitui a necessidade de dados mais diversos.

Resumo Final: O raciocínio melhora a relevância, mas não altera o equilíbrio de justiça. A justiça é um problema sistêmico que começa na coleta de dados e na recuperação inicial, não apenas na fase de reclassificação.