Résumé Technique : PETRA – Transformer le texte web pour l'adaptation au domaine du génie pétrolier

Problématique

Le génie pétrolier est une industrie à forte intensité de connaissances où les décisions opérationnelles reposent sur des preuves techniques éparpillées (ex. : procédures opérationnelles standard, manuels d'équipement, rapports d'incidents). Bien que les systèmes de recherche augmentée par récupération (RAG) offrent une voie pour ancrer les réponses dans des documents sources, ils sont confrontés à un fossé de supervision critique : les preuves pertinentes existent dans le texte web public, mais les étiquettes de pertinence spécifiques au domaine de haute qualité sont rares.

Les solutions existantes ne parviennent pas à combler ce fossé efficacement :

• Les jeux de données de domaines spécialisés sont souvent trop petits ou trop étroits pour couvrir l'ensemble du spectre de la terminologie, des procédures et des contextes d'équipement requis par les récupérateurs déployés.
• Les vastes corpus web offrent une échelle importante mais souffrent de bruit hors domaine, de duplications, d'une structure faible et d'un manque d'étiquettes de pertinence requête-passage.
• Les benchmarks publics mesurent la qualité de la récupération générale mais ne fournissent pas la supervision spécifique nécessaire pour adapter les piles de recherche de production au génie pétrolier, où la pertinence dépend des conventions du domaine (acronymes comme EUR, OOIP ; termes polysémiques comme « puits » ou « champ ») plutôt qu'une simple superposition lexicale.

Méthodologie : Le pipeline PETRA

Les auteurs introduisent PETRA (Petroleum Engineering Text for Retrieval Adaptation), un jeu de données et un pipeline à grande échelle conçus pour convertir des données web publiques bruitées en supervision de recherche spécifique au domaine. Le pipeline fonctionne en deux étapes principales :

1. Curation du Corpus

La première étape transforme les documents open-source en un corpus de génie pétrolier à haut rappel et hautement curaté.

• Sélection des Sources : Le pipeline traite trois familles de sources publiques : FinePDFs-Edu, peS2o (articles scientifiques) et une tranche de Wikipédia en anglais focalisée sur le génie pétrolier.
• Filtrage et Nettoyage : Les documents subissent un nettoyage rigoureux pour supprimer les références, les artefacts OCR et le texte de faible qualité à l'aide d'heuristiques au niveau du document (nombre de mots, ratios non alphanumériques).
• Classification de Domaine : Un classificateur Llama-3.1-8B optimisé par LoRA, entraîné sur des étiquettes distillées de Mistral-Large-3-675B, agit comme une porte d'entrée énergétique à haut rappel. Il atteint une précision de 98,4 % sur le test et un rappel de 99,69 %, garantissant que les preuves potentiellement pertinentes du domaine ne sont pas écartées (minimisant les faux négatifs).
• Découpage et Validation : Les documents sont dédupliqués (exactement et sémantiquement) et divisés en segments (chunks). Une porte de vote majoritaire en deux étapes utilisant Mistral-Large-3-675B valide les segments pour leur informativité, leur auto-suffisance et leur capacité de réponse, en les assignant à une taxonomie de 13 champs du génie pétrolier.
• Échelle : Le corpus curaté résultant contient 1,36 million de segments (environ 2 milliards d'équivalents de tokens).

2. Supervision de Recherche Synthétique

Puisque le corpus manque de paires de pertinence étiquetées, PETRA synthétise des données d'entraînement pour la première étape de récupération (embedding) et le réordonnancement (reranking).

• Génération de Requêtes : Un LLM ajusté par instruction génère trois styles de requêtes par segment (questions en langage naturel, affirmations factuelles, recherches par mots-clés). Un filtre rejette les éléments non supportés par le segment ou trop vagues.
• Génération de Négatifs Difficiles (Hard Negatives) :
  • Rédigés par LLM : Pour chaque ancrage, un LLM génère des passages thématiquement proches contenant des erreurs logiques ou sémantiques (ex. : substitutions d'entités, valeurs clés omises). Ils sont validés pour s'assurer qu'ils ne répondent pas accidentellement à la requête.
  • Extraits par Récupération : Une pile RAG de base est déployée pour générer des listes de candidats adverses. Si le segment cible n'est pas au rang 1, les candidats récupérés sont assignés à des « bacs d'échec » (failure buckets).
• Entraînement du Reranker : Les candidats récupérés et les négatifs difficiles générés sont re-scorés par un classificateur de rang zéro-shot (Qwen3.6-35B-A3B) pour produire des scores de pertinence d'enseignant (teacher scores). Cela crée des lignes de candidats scorées par l'enseignant qui correspondent à la distribution des candidats lors de l'inférence.
• Construction des Données : La sortie finale comprend des triplets contrastifs pour les modèles d'embedding et des lignes de candidats scorés par l'enseignant pour les rerankers.

Entraînement et Adaptation des Modèles

Les auteurs adaptent une pile de récupération en deux étapes (Qwen3-Embedding-8B et Qwen3-Reranker-8B) en utilisant des adaptateurs LoRA :

• Adaptateur d'Embedding : Entraîné avec une perte contrastive InfoNCE sur les triplets synthétiques.
• Adaptateur de Reranker : Entraîné avec une entropie croisée binaire (BCE) ponctuelle sur les lignes de candidats scorées par l'enseignant.
• Stratégies d'Inférence :
  • Fusion de Scores : La première étape exécute à la fois les encodeurs de base et adaptés, fusionnant les scores avec un poids fixe ($\alpha=0,7$) pour équilibrer les gains dans le domaine et la rétention hors domaine.
  • Fusion d'Adaptateurs : La fusion TIES (Task-Interference-Resolving) est utilisée pour combiner les adaptateurs spécifiques au domaine avec des ancres de récupération générale (ex. : MS MARCO) ou des adaptateurs pilotes, créant des points de contrôle uniques qui arbitrent entre spécialisation et rétention plus large.

Résultats Clés

Les auteurs évaluent PETRA sur un benchmark interne d'opérateur (SOP) et sur des benchmarks publics (Earth Science, tâches BEIR, et un panel de raisonnement intensif).

• Récupération de Première Étape :

  • L'adaptation du modèle d'embedding avec des données d'énergie uniquement améliore le nDCG@10 dans le domaine de 0,703 à 0,757 mais provoque une chute significative de la performance hors domaine (0,603 $\to$ 0,498).
  • La fusion de scores (base + adaptateur) obtient la meilleure performance dans le domaine (0,763 nDCG@10) tout en conservant une forte qualité hors domaine (0,570).
  • La fusion TIES offre le meilleur compromis de point de contrôle unique, récupérant 0,082 de la perte hors domaine par rapport à l'adaptateur d'énergie seule.

• Réordonnancement (Reranking) :

  • L'adaptation du reranker avec les données synthétiques de PETRA produit une amélioration relative de 44 % sur le benchmark Earth Science (0,302 $\to$ 0,436) et une amélioration de 23 % sur un panel de six tâches de raisonnement.
  • Le point de contrôle final maintient ou améliore légèrement la performance sur le benchmark interne SOP et sur les tâches hors domaine par rapport au reranker de base.

• Résultats Négatifs (Leçons Apprises) :

  • Une haute précision de maintien (holdout) sur les étiquettes synthétiques ne garantit pas des gains de récupération.
  • Les données extraites par récupération ne sont efficaces que lorsqu'elles sont reconditionnées sous forme de listes de candidats scorées par l'enseignant échantillonnées à partir de la distribution d'inférence, plutôt que comme des triplets de négatifs difficiles autonomes.
  • Le classement par marge de paires (pairwise margin-ranking) sur les triplets extraits a provoqué une régression sur les sondes SOP et hors domaine.

Signification et Revendications

L'article affirme que PETRA est le premier jeu de données et pipeline à grande échelle décrit publiquement spécifiquement pour l'adaptation de la récupération en génie pétrolier. Sa signification réside dans :

1. Évolutivité : Démontrer qu'un pipeline évolutif peut transformer des données web publiques bruitées en une supervision de recherche de haute qualité et spécifique au domaine sans nécesser de massive annotation humaine.
2. Aperçu Méthodologique : Montrer que le conditionnement des données de supervision (spécifiquement, l'utilisation de listes de candidats scorées par l'enseignant qui correspondent aux distributions d'inférence) est plus critique que l'exactitude brute des étiquettes générées.
3. Impact Pratique : Fournir une solution fonctionnelle qui pousse une pile de récupération déployée au-delà de ses modèles de base performants dans le domaine, tout en préservant les capacités de recherche générale, ce qui est actuellement validé auprès de clients du secteur Pétrole et Gaz.

Les auteurs notent des limites, notamment la nature propriétaire du benchmark interne principal (SOP), la portée limitée à l'anglais, et le fait que le système est actuellement en phase de test utilisateur plutôt qu'en production complète avec des tests A/B en ligne. Ils soulignent que le système est conçu comme un assistant humain dans la boucle, présentant les procédures sources aux opérateurs plutôt que de prendre des décisions autonomes.