Language Model Representations for Efficient Few-Shot Tabular Classification

1. Problématique et Contexte

Le Web regorge de données structurées sous forme de tableaux (catalogues de produits, bases de connaissances, données scientifiques). Cependant, l'hétérogénéité de leur structure et de leur sémantique rend difficile la création d'une méthode unifiée pour les exploiter efficacement.

Les approches traditionnelles reposent sur des modèles spécialisés (comme les arbres de décision boostés ou les architectures neuronales dédiées aux tableaux), tandis que les méthodes récentes utilisant les Grands Modèles de Langage (LLM) souffrent de deux limites majeures :

1. Coût computationnel : L'utilisation de LLM pour l'apprentissage in-context (en fournissant tout le contexte dans le prompt) est prohibitivement coûteuse en temps d'inférence et en tokens, surtout à l'échelle du Web.
2. Ressources d'entraînement : Le fine-tuning de LLM sur des corpus tabulaires nécessite des ressources massives (jours de GPU) et de grands jeux de données, ce qui n'est pas toujours disponible.

Question centrale : Peut-on réutiliser les représentations sémantiques (embeddings) déjà déployées de modèles LLM existants pour classer des données tabulaires en mode few-shot (peu d'exemples), sans entraînement spécialisé ni sérialisation coûteuse de l'ensemble du tableau ?

2. Méthodologie : TaRL (Table Representation with Language Model)

Les auteurs proposent TaRL, un cadre léger qui utilise directement les embeddings sémantiques de chaque ligne de tableau individuellement, sans entraînement par gradient. La méthode repose sur quatre composants clés :

A. Sérialisation et Embedding

Chaque ligne du tableau est sérialisée en une chaîne de texte lisible (ex: "Nom de la colonne : Valeur") et transformée en vecteur d'embedding via un LLM pré-entraîné (ex: Llama 3.1, TabuLa). Contrairement aux méthodes qui sérialisent tout le contexte, TaRL encode chaque ligne séparément, évitant la complexité quadratique de l'attention sur de longs contextes.

B. Classification par Régression à Noyau (Kernel Regression)

Le problème est formulé comme une tâche de régression à noyau. Pour une requête $x_q$ et un ensemble de support $k$-shots :

1. Calcul des similarités (cosinus inverse) entre l'embedding de la requête et ceux du support.
2. Calcul d'un vecteur de label prédit $\bar{y}_q$ comme somme pondérée des embeddings des labels du support.
3. Prédiction finale basée sur la similarité avec les embeddings des classes possibles.

C. Correction Géométrique : Suppression du Composant Commun (CCR)

Les auteurs identifient que les espaces d'embedding des LLM souffrent d'anisotropie (les vecteurs ne sont pas uniformément répartis mais se regroupent dans des cônes étroits), ce qui dégrade les métriques de distance.

• Solution : Soustraction du vecteur moyen (composante commune) de tous les embeddings. Cette opération simple améliore l'isotropie de l'espace et la capacité de discrimination entre les classes.

D. Calibration de la Température ($\gamma$)

La distribution des similarités varie selon les tâches. Un paramètre de température $\gamma$ est introduit dans la fonction softmax pour ajuster la "pointe" de la distribution des poids :

• Un $\gamma$ élevé favorise le voisin le plus proche (comportement k-NN).
• Un $\gamma$ faible moyenne sur plus d'exemples.
• mTaRL (Meta-TaRL) : Au lieu de fixer $\gamma$ manuellement, les auteurs entraînent un méta-apprenant (régression simple) sur des caractéristiques statistiques de l'ensemble de support (moyenne, variance, déséquilibre) pour prédire le $\gamma$ optimal pour chaque nouvelle tâche. Cela se fait en quelques minutes, sans gradient sur la tâche cible.

3. Contributions Clés

1. Cadre TaRL : Introduction d'une méthode zero-training (pas de gradient) qui réutilise les embeddings LLM existants pour la classification few-shot tabulaire.
2. Adaptations Sémantiques : Identification et validation de deux ajustements critiques : la CCR pour corriger l'anisotropie et la calibration de température pour s'adapter à la structure sémantique spécifique de chaque tâche.
3. Méta-apprentissage Efficace : Proposition d'un prédicteur méta-apprenant (mTaRL) qui apprend à prédire la température optimale en quelques minutes, offrant une alternative viable aux modèles fondationnels tabulaires coûteux.
4. Validation Empirique : Démonstration que cette approche est compétitive avec les modèles de l'état de l'art (SotA) dans les régimes à faible données ($k \le 32$), en particulier sur des données riches sémantiquement.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks CARTE-CLF (données riches sémantiquement) et TabArena.

• Performance :

  • L'application naïve des embeddings LLM est médiocre.
  • L'ajout de la CCR et de la calibration $\gamma$ améliore considérablement les résultats.
  • mTaRL atteint des performances comparables aux modèles spécialisés de pointe (TabPFN, ConTextTab, TabuLa) sur les benchmarks CARTE-CLF pour $k \le 32$, avec un avantage notable sur les données contenant des noms de colonnes et des valeurs textuelles significatives.
  • Sur les données moins sémantiques (TabArena), les modèles spécialisés restent supérieurs, confirmant que la force de TaRL réside dans l'exploitation de la sémantique.

• Efficacité Computationnelle :

  • Gain de vitesse : TaRL est jusqu'à 1000 fois plus rapide que l'inférence auto-régressive d'un LLM (comme TabuLa) pour les tâches few-shot.
  • Avec un système de cache (pré-calcul des embeddings), le temps d'exécution est négligeable, rendant la méthode idéale pour des applications web en temps réel.

• Analyse des Modèles :

  • Les embeddings de Llama 3.1-8B et TabuLa-8B (fine-tuned pour les tableaux) fonctionnent mieux que d'autres modèles.
  • L'utilisation des embeddings des labels (au lieu de vecteurs one-hot) améliore significativement la performance, prouvant l'importance de la sémantique des étiquettes.

5. Signification et Impact

Ce travail démontre qu'il n'est pas nécessaire de construire des architectures complexes ou d'entraîner des modèles massifs pour comprendre les données tabulaires structurées du Web. En réutilisant l'infrastructure LLM existante et en appliquant des corrections géométriques et thermodynamiques simples, on peut obtenir une classification few-shot efficace et rapide.

Implications principales :

• Réduction des coûts : Élimine le besoin de jours de GPU pour l'entraînement de modèles tabulaires spécialisés.
• Infrastructure Web : Permet aux organisations ayant déjà déployé des LLM pour la recherche sémantique ou la génération de contenu d'ajouter facilement des capacités de classification sur des tableaux structurés sans nouvelle infrastructure.
• Approche "Lightweight" : Prouve que l'adaptation intelligente des représentations existantes est souvent plus efficace que l'ajout de complexité aux modèles.

En résumé, TaRL offre une voie pragmatique et économiquement viable pour exploiter la puissance sémantique des LLM sur les données tabulaires du Web, en particulier dans des scénarios où les données sont rares et riches en contexte textuel.