Resumo Técnico: PETRA – Transformando Texto Web para Adaptação de Domínio em Engenharia de Petróleo

Declaração do Problema

A engenharia de petróleo é uma indústria intensiva em conhecimento, onde decisões operacionais dependem de evidências técnicas dispersas (ex: procedimentos operacionais padrão, manuais de equipamentos, relatórios de incidentes). Embora sistemas de recuperação aumentada (RAG) ofereçam um caminho para fundamentar respostas em documentos de origem, eles enfrentam uma lacuna de supervisão crítica: a evidência relevante existe em textos públicos da web, mas rótulos de relevância específicos do domínio de alta qualidade são escassos.

As soluções existentes falham em preencher essa lacuna de forma eficaz:

• Datasets de domínio curados são frequentemente muito pequenos ou estreitos para cobrir todo o espectro de terminologia, procedimentos e contextos de equipamentos necessários para recuperadores implantados.
• Grandes corpora da web oferecem escala, mas sofrem com ruído fora do domínio, duplicidade, estrutura fraca e falta de rótulos de relevância entre consulta e passagem.
• Benchmarks públicos medem a qualidade de recuperação geral, mas não fornecem a supervisão específica necessária para adaptar stacks de busca de produção para a engenharia de petróleo, onde a relevância depende de convenções do domínio (acrônimos como EUR, OOIP; termos polissêmicos como "poço" ou "campo") em vez de simples sobreposição lexical.

Metodologia: O Pipeline PETRA

Os autores introduzem o PETRA (Petroleum Engineering Text for Retrieval Adaptation), um dataset e um pipeline de larga escala projetados para converter dados ruidosos da web pública em supervisão de recuperação específica do domínio. O pipeline opera em duas etapas principais:

1. Curadoria de Corpus

A primeira etapa transforma documentos de código aberto em um corpus de engenharia de petróleo curado de alta recall.

• Seleção de Fontes: O pipeline processa três famílias de fontes públicas: FinePDFs-Edu, artigos científicos peS2o e um recorte da Wikipédia em inglês focado em engenharia de petróleo.
• Filtragem e Limpeza: Os documentos passam por uma limpeza rigorosa para remover referências, artefatos de OCR e textos de baixa qualidade usando heurísticas de nível de documento (contagem de palavras, proporções não alfanuméricas).
• Classificação de Domínio: Um classificador Llama-3.1-8B ajustado via LoRA, treinado com rótulos destilados de Mistral-Large-3-675B, atua como um portão de energia de alta recall. Ele atinge 98,4% de acurácia de teste e 99,69% de recall, garantindo que evidências potencialmente valiosas do domínio não sejam descartadas (minimizando falsos negativos).
• Fragmentação (Chunking) e Validação: Os documentos são deduplicados (exata e semanticamente) e divididos em fragmentos (chunks). Um portão de voto majoritário de duas etapas usando Mistral-Large-3-675B valida os fragmentos quanto à informatividade, autocontenção e capacidade de resposta, atribuindo-os a uma taxonomia de 13 campos da engenharia de petróleo.
• Escala: O corpus curado resultante contém 1,36 milhão de fragmentos (aproximadamente 2 bilhões de equivalentes de tokens).

2. Supervisão de Recuperação Sintética

Como o corpus carece de pares de relevância rotulados, o PETRA sintetiza dados de treinamento tanto para a recuperação de primeira etapa (embedding) quanto para o reclassificador (reranking).

• Geração de Consultas: Um LLM ajustado para instruções gera três estilos de consulta por fragmento (perguntas em linguagem natural, afirmações de fatos, buscas por palavras-chave). Um filtro rejeita itens não suportados pelo fragmento ou muito vagos.
• Geração de Negativos Difíceis (Hard Negatives):
  • Escrito por LLM: Para cada âncora, um LLM gera passagens topicamente próximas contendo erros lógicos ou semânticos (ex: substituições de entidades, valores-chave omitidos). Eles são validados para garantir que não respondam acidentalmente à consulta.
  • Minerado por Recuperação: Uma stack RAG de linha de base é implantada para gerar listas de candidatos adversariais. Se o fragmento alvo não estiver no ranking 1, os candidatos recuperados são atribuídos a "baldes de falha" (failure buckets).
• Treinamento de Reranker: Candidatos recuperados e negativos difíceis gerados são reavaliados por um ranker zero-shot (Qwen3.6-35B-A3B) para produzir pontuações de relevância do professor (teacher scores). Isso cria linhas de candidatos pontuadas pelo professor que correspondem à distribuição de inferência.
• Construção de Dados: A saída final inclui triplas contrastivas para modelos de embedding e linhas de candidatos pontuadas pelo professor para rerankers.

Treinamento e Adaptação de Modelos

Os autores adaptam uma stack de recuperação de duas etapas (Qwen3-Embedding-8B e Qwen3-Reranker-8B) usando adaptadores LoRA:

• Adaptador de Embedding: Treinado com perda contrastiva InfoNCE em triplas sintéticas.
• Adaptador de Reranker: Treinado com perda de entropia cruzada binária (BCE) pontual em linhas de candidatos pontuadas pelo professor.
• Estratégias de Inferência:
  • Fusão de Pontuação (Score Fusion): A primeira etapa executa tanto os codificadores base quanto os adaptados, fundindo as pontuações com um peso fixo ($\alpha=0,7$) para equilibrar ganhos no domínio com a retenção fora do domínio.
  • Mesclagem de Adaptadores (Adapter Merging): A mesclagem TIES (Task-Interference-Resolving) é usada para combinar adaptadores específicos do domínio com âncoras de recuperação geral (ex: MS MARCO) ou adaptadores piloto, criando checkpoints únicos que equilibram especialização e retenção ampla.

Resultados Principais

Os autores avaliam o PETRA em um benchmark interno de operador (SOP) e benchmarks públicos (Ciências da Terra, tarefas BEIR e um painel intensivo de raciocínio).

• Recuperação de Primeira Etapa:

  • Adaptar o modelo de embedding com dados de apenas energia melhora o nDCG@10 no domínio de 0,703 para 0,757, mas causa uma queda significativa no desempenho fora do domínio (0,603 $\to$ 0,498).
  • A fusão de pontuação (base + adaptador) alcança o melhor desempenho no domínio (0,763 nDCG@10) enquanto retém forte qualidade fora do domínio (0,570).
  • A mesclagem TIES oferece o melhor compromisso de checkpoint único, recuperando 0,082 da perda fora do domínio em comparação com o adaptador de apenas energia.

• Reclassificação (Reranking):

  • Adaptar o reranker com os dados sintéticos do PETRA gera um melhoria relativa de 44% no benchmark de Ciências da Terra (0,302 $\to$ 0,436) e uma melhoria de 23% em um painel de seis tarefas de raciocínio.
  • O checkpoint final mantém ou melhora ligeiramente o desempenho no benchmark interno SOP e em tarefas fora do domínio em comparação com o reranker base.

• Achados Negativos (Lições Aprendidas):

  • Alta acurácia de treino-teste em rótulos sintéticos não garante ganhos de recuperação.
  • Dados minerados por recuperação só são eficazes quando reempacotados como listas de candidatos pontuadas pelo professor amostradas da distribuição de tempo de inferência, em vez de como triplas de negativos difíceis isoladas.
  • O ranking de margem pareado (pairwise margin-ranking) em triplas mineradas causou regressão nos probes SOP e fora do domínio.

Significância e Alegações

O artigo afirma que o PETRA é o primeiro dataset e pipeline de larga escala descrito publicamente especificamente para adaptação de recuperação em engenharia de petróleo. Sua significância reside em:

1. Escalabilidade: Demonstrar que um pipeline escalável pode transformar textos web públicos ruidosos em supervisão de recuperação de alta qualidade e específica do domínio sem exigir enorme anotação humana.
2. Insight Metodológico: Mostrar que o empacotamento dos dados de supervisão (especificamente, o uso de listas de candidatos pontuadas pelo professor que correspondem às distribuições de inferência) é mais crítico do que a acurácia bruta dos rótulos gerados.
3. Impacto Prático: Fornecer uma solução funcional que leva uma stack de recuperação implantada além de seus fortes modelos base no domínio, preservando as capacidades de recuperação geral, atualmente sendo validada com clientes de Óleo e Gás corporativos.

Os autores observam limitações, incluindo a natureza proprietária do principal benchmark interno (SOP), o escopo restrito ao inglês e o fato de que o sistema está atualmente em fase de teste de usuário, não em produção total com testes A/B online. Eles enfatizam que o sistema foi projetado para ser um assistente humano-no-loop, apresentando procedimentos de origem para operadores, em vez de tomar decisões autônomas.