UnIte: Uncertainty-based Iterative Document Sampling for Domain Adaptation in Information Retrieval

1. Declaração do Problema

Os recuperadores neurais pré-treinados em grandes conjuntos de dados de origem (por exemplo, MS-MARCO) frequentemente sofrem degradação de desempenho quando aplicados a domínios-alvo não vistos. Adaptação de Domínio Não Supervisionada (UDA) aborda isso gerando pseudo-consultas para documentos do domínio-alvo para ajustar finamente o recuperador. No entanto, para grandes corpora (excedendo 100 mil documentos), gerar consultas para cada documento é computacionalmente inviável.

O gargalo central é a amostragem de documentos: selecionar qual subconjunto de documentos consultar. Métodos existentes, como DUQGen, dependem principalmente de diversidade (agrupamento) para garantir cobertura. Os autores identificam duas falhas críticas nas abordagens baseadas apenas em diversidade:

1. Regiões de Baixa Densidade: Métodos de diversidade frequentemente selecionam documentos atípicos ou outliers (alta Incerteza Aleatória), que são ruidosos e levam a transferência negativa.
2. Regiões de Alta Confiança: Eles também selecionam documentos que o modelo já compreende bem (baixa Incerteza Epistêmica), fornecendo pouco novo sinal de aprendizado.
3. Seleção Estática: Métodos anteriores realizam uma seleção única baseada em um estado inicial do modelo, falhando em adaptar-se conforme o modelo aprende e suas lacunas de conhecimento mudam.

2. Metodologia: UnIte

Os autores propõem UnIte (Amostragem Iterativa de Documentos Baseada em Incerteza), um quadro que seleciona dinamicamente documentos com base em uma taxonomia de incerteza: Incerteza Aleatória (AU) e Incerteza Epistêmica (EU).

A. Filtragem de Incerteza Aleatória (AU)

AU representa ruído inerente ou ambiguidade nos dados. UnIte filtra documentos de baixa densidade e ruidosos antes que o loop de amostragem comece.

• Mecanismo: Em vez de usar incorporações de modelo (que confundem ruído de dados com ignorância do modelo), UnIte usa uma métrica de distância lexical baseada em pontuações BM25.
• Processo: Calcula a distância até o $k$-ésimo vizinho mais próximo no corpus. Documentos com alta distância (outliers) são filtrados.
• Objetivo: Impedir que o modelo aprenda com dados fora do tópico ou ruidosos, garantindo que o conjunto de treinamento esteja limpo.

B. Estimativa de Incerteza Epistêmica (EU)

EU representa a falta de conhecimento do modelo em relação ao domínio-alvo. UnIte prioriza documentos onde o modelo está incerto sobre termos específicos do domínio-alvo.

• Mecanismo: Diferentemente de métodos padrão baseados em entropia, UnIte compara as probabilidades de tokens previstas pelo modelo contra a distribuição estatística do domínio-alvo (especificamente, Frequência Inversa de Documento ou IDF).
• Processo:
  1. Pré-calcula estatísticas do domínio (IDF em nível de token).
  2. Projeta incorporações de documentos através da cabeça de Modelagem de Linguagem Mascaramento (MLM) do modelo para obter probabilidades de tokens.
  3. Calcula uma pontuação de EU agregando a discrepância entre termos importantes do domínio (alta IDF) e a baixa confiança de previsão do modelo para eles.
• Objetivo: Selecionar documentos que preencham as lacunas de conhecimento específicas entre o modelo treinado na origem e o domínio-alvo.

C. Loop Iterativo de Amostragem e Treinamento

Reconhecendo que a EU muda conforme o modelo se adapta, UnIte emprega um processo iterativo em vez de seleção estática.

1. Estimar EU: Calcular pontuações de incerteza para o corpus restante com base no estado atual do modelo.
2. Amostrar com Diversidade e Penalidade:
   • Documentos são agrupados para garantir diversidade.
   • Dentro dos agrupamentos, uma pontuação de Relevância Marginal Máxima (MMR) equilibra EU e diversidade.
   • Penalidade de Reamostragem: Para evitar a superamostragem de agrupamentos dominantes, uma penalidade é aplicada a agrupamentos que já foram pesadamente amostrados em iterações anteriores. Isso força o algoritmo a explorar regiões sub-representadas e de alta incerteza.
3. Treinar e Atualizar: Gerar pseudo-consultas para o lote selecionado, ajustar finamente o recuperador e repetir.
4. Parada Antecipada: O loop termina quando a EU média em todo o domínio se estabiliza (indicando que o modelo saturou seu potencial de aprendizado) ou um limite de orçamento é atingido.

3. Principais Contribuições

1. Aplicação de Taxonomia de Incerteza: Primeiro a separar e utilizar explicitamente tanto a incerteza Aleatória (ruído de dados) quanto a Epistêmica (lacuna de conhecimento do modelo) para amostragem de documentos em adaptação de domínio de IR.
2. Filtragem AU Livre de Modelo: Introduz um método de detecção de outliers baseado em léxico que evita confundir ruído de dados com incerteza do modelo.
3. Estimativa EU Consciente de Domínio: Propõe uma nova métrica de EU que incorpora estatísticas do domínio-alvo (IDF), indo além da simples variância do modelo (entropia).
4. Loop Adaptativo Iterativo: Resolve o problema da "seleção estática" reavaliando dinamicamente a incerteza e redistribuindo orçamentos de amostragem via um mecanismo de penalidade de reamostragem.
5. Eficiência: Alcança desempenho superior com menos amostras de treinamento (média de 4 mil) em comparação com baselines que exigem 5 mil, reduzindo custos computacionais.

4. Resultados Experimentais

O método foi avaliado em cinco conjuntos de dados BEIR de grande escala (TREC-COVID, Robust04, TREC-NEWS, Quora, HotpotQA) usando quatro modelos recuperadores (DPR, coCondenser, COCO-DR, Qwen3-Embedding-4B).

• Ganhos de Desempenho:
  • Modelos Pequenos (DPR): UnIte melhorou o nDCG@10 em +2,45 sobre a forte baseline DUQGen.
  • Modelos Grandes (Qwen3-Embedding-4B): UnIte alcançou um ganho significativo de +3,49 em nDCG@10.
  • Eficiência de Amostra: UnIte frequentemente convergiu em 3 mil–4 mil amostras, enquanto as baselines usaram 5 mil, ainda assim superando-as.
• Estudos de Ablação:
  • Remover a amostragem EU causou uma queda de ~2,3 em nDCG@10, confirmando a necessidade de mirar lacunas de conhecimento.
  • Remover a filtragem AU causou uma queda adicional de ~0,9 em nDCG@10, destacando o dano de outliers ruidosos.
  • Remover a Penalidade de Reamostragem degradou o desempenho em 1,5–8,5 pontos, provando a importância da alocação dinâmica de orçamento.
• Parada Antecipada: Validou que o mínimo local da EU média correlaciona-se com o pico de desempenho de recuperação, permitindo uma parada econômica.

5. Significado

UnIte representa uma mudança de paradigma na adaptação de domínio não supervisionada para Recuperação de Informação. Ao migrar da amostragem centrada em diversidade para consciente de incerteza, garante que o orçamento limitado para geração de pseudo-consultas seja gasto nos documentos mais informativos.

• Impacto Teórico: Preenche a lacuna entre a teoria de aprendizado ativo (amostragem por incerteza) e restrições práticas de IR (grandes corpora, requisitos de diversidade).
• Impacto Prático: Oferece uma solução escalável e eficiente em orçamento para adaptar recuperadores a novos domínios sem exigir dados rotulados ou geração de consultas cara para todo o corpus.
• Direção Futura: O artigo destaca que, embora eficaz para recuperadores de vetor único, estender isso para arquiteturas de múltiplos vetores ou reclassificação permanece um desafio aberto.

Em resumo, UnIte demonstra que filtrar ruído (AU) e mirar ignorância (EU) iterativamente produz adaptação de domínio significativamente melhor do que simplesmente amostrar documentos diversos.