Résumé Technique : SAMARK - Filigrane Textuel Auto-Ancré avec Robustesse au Paraphrasage au Niveau des Paragraphes

1. Définition du Problème

Les progrès rapides de l'IA Générative (GenAI) rendent nécessaires des méthodes robustes pour identifier les textes générés par machine. Bien que le filigrane des Grands Modèles de Langage (LLM) ait émergé comme une solution, les méthodes existantes font face à une vulnérabilité critique : les Attaques de Paraphrasage au Niveau des Paragraphes (PPA).

Les schémas de filigrane actuels se divisent en deux catégories :

• Filigrane au Niveau des Tokens (TWM) : Modifie les distributions d'échantillonnage des tokens (par exemple, listes Vert-Rouge). Bien qu'efficaces, ces signaux sont facilement dilués ou supprimés par des éditions locales, des substitutions de mots ou des suppressions.
• Filigrane au Niveau Sémantique (SWM) : Traite les phrases comme l'unité de base, intégrant des signaux dans l'espace sémantique. Bien que plus robustes aux éditions locales, les méthodes SWM existantes (par exemple, SemStamp, PMark) reposent sur des graines aléatoires dépendantes de l'étape. Ces graines sont généralement dérivées du contexte précédent (hachage du contexte) ou d'indices d'étape fixes.
  • Vulnérabilité Dépendante du Contexte : Si un attaquant paraphrase les phrases précédentes, la graine reconstruite change, provoquant l'échec du signal de détection.
  • Vulnérabilité Dépendante de l'Étape : Si un attaquant réorganise les phrases au sein d'un paragraphe, la graine indexée par l'étape ne correspond plus à la position de la phrase, perturbant le score de détection.

Le problème central abordé est l'absence d'un schéma de filigrane au niveau sémantique intrinsèquement robuste aux PPA (réorganisation et paraphrasage global) tout en maintenant une haute qualité textuelle et une précision de détection.

2. Méthodologie : Cadre SAMARK

Les auteurs proposent SAMARK (Auto-Anchored Mark), un cadre qui élimine la dépendance à l'ordre des phrases et au contexte en établissant une région verte indépendante de l'étape dans l'espace sémantique.

2.1. Insight Central : Condition Auto-Ancrée (SAC)

L'innovation fondamentale est la Condition Auto-Ancrée, où la graine aléatoire d'une phrase dépend uniquement de sa propre sémantique intrinsèque, et non de sa position ou de son contexte précédent.

• Mécanisme : Pour une phrase $u$, la graine aléatoire est $r_t = R(\phi(u); k)$, où $\phi(u)$ est la représentation sémantique et $k$ une clé privée.
• Garantie Théorique : Le théorème 1 prouve que cette condition établit une « région faisable » (région verte) globalement statique $\mathcal{G} \subseteq \Omega$. Une phrase appartient à la région verte si et seulement si sa propre sémantique correspond à une partition valide sous la clé, indépendamment du moment ou de l'endroit où elle apparaît dans le texte. Cela assure la robustesse face à la réorganisation et à la modification du contexte.

2.2. Générateur : Échantillonnage Hyperbolique Multi-Canal

Pour générer du texte filigrané, SAMARK emploie une stratégie d'échantillonnage par rejet améliorée par un mécanisme de score hyperbolique multi-canal :

1. Génération de Candidats : Échantillonner $N$ phrases candidates à partir du LLM de base.
2. Appariement des Canaux : Filtrer les candidats pour ne conserver que ceux dont les plongements sémantiques s'alignent avec un motif de drapeau cible $R$ à travers $c$ vecteurs pivots (canaux).
3. Score Hyperbolique : Au lieu d'utiliser la similarité cosinus brute, la méthode applique une transformation tangente hyperbolique ($\tanh$) aux similarités cosinus signées :
   $$S_{wm}(x) = \sum_{j=1}^{c} \tanh(\kappa \cdot r_j \cdot \cos(E(x), v_j))$$
   • Objectif : Cela amplifie les candidats avec un fort alignement (poussant les scores vers $\pm 1$) tout en supprimant le bruit proche de zéro. Cela empêche la concentration des scores près de la frontière de décision, qui est un point de défaillance connu sous les attaques de paraphrasage.
4. Filtrage Conscient de la Diversité : Pour prévenir la dégradation de qualité souvent associée aux contraintes strictes de filigrane (par exemple, texte répétitif), SAMARK intègre :
   • Filtrage Dur : Supprime les candidats avec un fort chevauchement de n-grammes ou une forte similarité sémantique avec les phrases générées précédemment.
   • Régularisation Douce : Ajoute des bonus de diversité ($\lambda_{div}$ pour la diversité sémantique, $\lambda_{nov}$ pour la nouveauté du vocabulaire) au score de sélection final.
5. Sélection : Une distribution softmax est appliquée aux candidats filtrés pour introduire une stochasticité contrôlée.

2.3. Détecteur : Détection Aveugle par Vote Majoritaire

Le détecteur fonctionne sans connaissance préalable des drapeaux cibles spécifiques utilisés lors de la génération :

1. Segmentation et Plongement : Diviser le texte en phrases et calculer les plongements.
2. Inférence Aveugle des Drapeaux : Puisque les vrais drapeaux $R$ sont inconnus, le détecteur les infère par vote majoritaire sur les réponses directionnelles de toutes les phrases du texte.
3. Alignement Hyperbolique : Appliquer la même transformation $\tanh$ utilisée lors de la génération aux drapeaux inférés.
4. Test Z : Calculer une statistique z globale basée sur la matrice d'alignement transformée. Si la statistique dépasse un seuil, le texte est classé comme filigrané.

3. Contributions Clés

1. Paradigme Auto-Ancré : Le premier cadre à découpler les signaux de filigrane de l'ordre et du contexte des phrases, les rendant robustes aux PPA.
2. Score Hyperbolique Multi-Canal : Un mécanisme de score novateur qui amplifie les signaux robustes et supprime le bruit, abordant le problème de la concentration des scores près des frontières.
3. Filtrage Conscient de la Diversité : Une stratégie de filtrage combiné dur/doux qui atténue le compromis robustesse-qualité, empêchant la redondance sémantique et la génération répétitive.
4. Validation Empirique : Évaluation complète démontrant des performances de pointe en matière de robustesse et de qualité.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données C4 et BOOKSUM en utilisant les modèles Llama-3.1-8B et Mistral-Small-3.1-24B.

• Robustesse (RQ1) : SAMARK surpasse significativement les bases existantes (y compris KGW, SemStamp et PMark) sous PPA.
  • Sous l'attaque Doc-P II (paraphrasage agressif), SAMARK atteint 90,2 % de TP@FP1% sur Mistral+BOOKSUM, contre 57,5 % pour la meilleure base suivante (PMark).
  • Cela représente une amélioration moyenne de plus de 30 % par rapport aux bases les plus solides précédentes.
  • SAMARK maintient des taux de détection élevés (>72 %) dans tous les scénarios d'attaque, alors que les bases tombent souvent en dessous de 30 %.
• Qualité du Texte (RQ2) : SAMARK préserve une qualité de génération compétitive par rapport au texte sans filigrane.
  • Les jugements par paires de LLM montrent que SAMARK atteint des taux de victoire élevés contre les bases sans filigrane.
  • Des métriques comme le Double de Phrase (SD) et Distinct-2 (D-2) indiquent que le filtrage conscient de la diversité empêche efficacement les problèmes de répétition courants dans d'autres méthodes SWM.
• Efficacité (RQ3) :
  • SAMARK réduit la surcharge computationnelle des méthodes au niveau sémantique. Il nécessite 47,44 tokens échantillonnés par token de sortie, nettement moins que SemStamp (64,5) ou PMark (49,73).
  • La latence de détection est négligeable (0,0014 s par token), car elle évite la régénération basée sur le LLM requise par certaines méthodes multi-bits.
• Études d'Ablation (RQ4) :
  • Le retrait de la transformation hyperbolique lors de la génération provoque une chute massive de la robustesse (par exemple, Doc-P II TP@FP1% passe de 93,2 % à 67,4 %), confirmant son rôle critique.
  • La désactivation des filtres de diversité entraîne une dégradation significative de la qualité (augmentation de la répétition et diminution de la distinctivité).

5. Signification et Revendications

L'article revendique que SAMARK représente un changement de paradigme dans le filigrane au niveau sémantique. En passant des graines dépendantes de l'étape à une approche auto-ancrée, il résout le problème « intraitable » de la robustesse au paraphrasage au niveau des paragraphes qui a limité le domaine.

• Briser le Compromis : SAMARK brise avec succès le compromis traditionnel entre robustesse et qualité textuelle, atteignant des taux de détection élevés sous des attaques sévères sans sacrifier la fluidité ou la diversité.
• Déploiement Pratique : La méthode est présentée comme une solution viable pour les services LLM réels où le contenu est fréquemment édité, raccourci ou paraphrasé par les utilisateurs.
• Limites : Les auteurs reconnaissent modestement que SAMARK entraîne toujours une latence plus élevée que les méthodes au niveau des tokens en raison de la nécessité d'un échantillonnage de candidats au niveau des phrases (une limitation des LLM autorégressifs actuels) et qu'il prend actuellement en charge la détection à zéro bit (oui/non) plutôt que l'intégration de charges utiles multi-bits.

En conclusion, SAMARK établit un nouvel état de l'art pour le filigrane au niveau sémantique, offrant une solution robuste, de haute qualité et efficace pour identifier les textes générés par l'IA dans des environnements adverses.