Résumé Technique : Amélioration de la Robustesse de la Récupération Tabulaire via la Stabilité Représentationnelle

1. Problématique : Le "Goulot d'Étranglement" de la Sérialisation

Le problème central identifié par les auteurs est la sensibilité à la sérialisation des systèmes de récupération (retrieval) basés sur les Transformers. Les tableaux, qui sont par nature des structures bidimensionnelles (lignes et colonnes), doivent être "aplatis" en séquences unidimensionnelles de jetons (tokens) pour être traités par les encodeurs.

L'étude démontre que des sérialisations sémantiquement équivalentes (ex: CSV, HTML, JSON, Markdown) produisent des plongements (embeddings) radicalement différents dans l'espace vectoriel. Cette instabilité entraîne une forte variance des performances de récupération (Recall@1) : un même tableau peut être très bien récupéré s'il est en format CSV, mais très mal s'il est en HTML, simplement à cause de la structure syntaxique ajoutée par le format. Ce phénomène est particulièrement marqué lorsque l'écart lexical entre la requête et le tableau est important (ex: benchmark NQ-Tables).

2. Méthodologie : L'Approche par le Centroïde

Pour résoudre ce problème, les auteurs proposent de ne plus considérer une sérialisation comme la représentation unique du tableau, mais comme une "vue" bruitée d'un signal sémantique partagé.

A. Représentation par Centroïde (Théorie)

Les auteurs modélisent l'embedding d'une sérialisation $z_s(T)$ comme la somme d'un signal sémantique stable $\mu(T)$ et d'un décalage (shift) spécifique au format $\delta_s(T)$. En faisant la moyenne des embeddings de toutes les sérialisations possibles d'un même tableau, on obtient un centroïde $c(T)$. Mathématiquement, si les décalages de format s'annulent en moyenne, le centroïde devient une approximation fidèle du contenu sémantique pur, invariant au format.

B. L'Adaptateur de Goulot d'Étranglement Résiduel (Solution Pratique)

Calculer le centroïde à l'inférence est trop coûteux (nécessite plusieurs passages d'encodage). Les auteurs introduisent donc un adaptateur léger (un module MLP résiduel) qui s'ajoute par-dessus un encodeur gelé (frozen encoder).

• Objectif : L'adaptateur apprend à transporter un embedding de format unique vers la cible du centroïde.
• Fonction de perte (VICReg-inspired) : Pour éviter l'effondrement des représentations (collapse) ou la dérive hors de l'espace de recherche, ils utilisent une perte composite :
  1. Invariance : Réduit la distance entre les différentes vues et leur centroïde.
  2. Identité : Ancre l'embedding adapté à l'espace original pour rester compatible avec les requêtes.
  3. Variance & Covariance : Empêche la perte de diversité et de capacité expressive des dimensions de l'embedding.

3. Contributions Clés

1. Mesure systématique de l'instabilité : Quantification de l'impact des formats sur quatre familles de récupérateurs (denses, clairsemés/sparse, et orientés raisonnement).
2. Preuve théorique : Établissement de l'optimalité euclidienne du centroïde et des conditions sous lesquelles il récupère le signal sémantique stable.
3. Adaptateur post-hoc : Introduction d'un module léger capable d'améliorer la robustesse sans ré-indexer l'ensemble du corpus ni ré-entraîner le modèle de base.

4. Résultats Expérimentaux

• Supériorité du Centroïde : Les tests de comparaison par paires montrent que les représentations basées sur le centroïde surpassent systématiquement les formats individuels (notamment face au HTML ou JSON).
• Amélioration des modèles denses : L'adaptateur améliore significativement la robustesse des modèles comme MPNet, ReasonIR et BGE-M3. Par exemple, sur le dataset WTQ, l'adaptateur augmente considérablement le Recall@1 pour les formats syntaxiquement lourds (HTML, XML).
• Généralisation : L'adaptateur entraîné sur des jeux de données spécifiques (WTQ, WikiSQL) parvient à se transférer avec succès sur des données non vues (NQ-Tables).
• Limites (Modèles Sparse) : Le modèle SPLADE (récupération lexicale clairsemée) ne bénéficie pas de l'adaptateur et voit même ses performances diminuer. Cela s'explique par l'incompatibilité entre la correction géométrique dense de l'adaptateur et la structure de l'espace lexical clairsemé.

5. Signification et Impact

Cette recherche change la perspective sur la préparation des données tabulaires : la sérialisation ne doit plus être vue comme un détail de prétraitement mineur, mais comme une variable de modélisation critique ayant des conséquences géométriques sur la recherche d'information. La méthode proposée offre une voie prometteuse pour créer des systèmes de recherche de tableaux "invariants au format", capables de maintenir une haute précision quel que soit le mode de stockage ou de représentation des données structurées.