Is Human-Like Text Liked by Humans? Multilingual Human Detection and Preference Against AI

1. Énoncé du problème

Les récents progrès des modèles de langage de grande taille (LLM) ont brouillé la frontière entre le texte écrit par un humain et le texte généré par une machine (MGT). Des études antérieures suggéraient que les évaluateurs humains peinaient à distinguer le MGT du texte humain, obtenant souvent des résultats proches du hasard (environ 50 %). Cependant, ces études étaient limitées par :

• Portée : Principalement axées sur l'anglais et des modèles plus anciens (par exemple, GPT-3.5-turbo).
• Annotateurs : Souvent basées sur des profils non experts ou de petits groupes d'experts.
• Domaines : Une variété limitée de domaines textuels.
• Hypothèse : L'hypothèse prévalente selon laquelle les humains ne peuvent pas détecter le MGT pourrait ne pas s'appliquer aux experts natifs à travers des langues diverses et des modèles de pointe (SOTA).

L'article vise à vérifier la limite supérieure des capacités de détection humaine à travers 9 langues et 9 domaines, à investiguer les écarts linguistiques spécifiques entre le texte humain et le texte IA, et à déterminer si les humains préfèrent réellement le texte écrit par l'homme lorsqu'ils ne peuvent pas distinguer la source.

2. Méthodologie

Construction du jeu de données

Les auteurs ont construit une suite d'évaluation complète comprenant 16 jeux de données couvrant :

• Langues : 9 langues (arabe, chinois, anglais, hindi, italien, japonais, kazakh, russe, vietnamien).
• Domaines : 9 domaines incluant les actualités, les réseaux sociaux (tweets), les relectures académiques par les pairs, les dissertations d'étudiants, les rapports gouvernementaux, Wikipédia et les questions-réponses (QA).
• Modèles : 11 LLM de pointe (par exemple, GPT-4o, Claude-3.5-Sonnet, Llama-3-405B, Qwen, AceGPT, Vikhr-Nemo).
• Échelle : Environ 8 778 paires humain-MGT pour la détection et 13 500 instances pour l'étiquetage des préférences.

Configuration de la détection humaine

• Annotateurs : 19 experts natifs (chercheurs en TALN, doctorants, post-doctorants et étudiants en master) disposant d'une expérience significative avec les LLM. L'étude cible explicitement la « limite supérieure experte » plutôt que le grand public.
• Paramètres d'évaluation : Quatre scénarios de détection distincts ont été utilisés pour simuler des conditions réelles :
  1. Binaire unique : Identifier si un seul texte est humain ou machine (Oui/Non).
  2. Binaire par paire : Étant donné une paire (un humain, une machine), identifier l'humain.
  3. Triplet à trois classes : Sélectionner le texte humain parmi trois options (Humain, MGT-A, MGT-B).
  4. Paire à quatre classes : Étant donné une paire, identifier si les deux sont humains, si les deux sont des machines, ou laquelle est laquelle.

Stratégie de comblement des écarts (Ingénierie des prompts)

Pour tester si l'écart « semblable à l'humain » pouvait être comblé, les auteurs :

1. Ont identifié des signaux distinctifs spécifiques (par exemple, manque de nuances culturelles, structure formulaire).
2. Ont conçu des prompts améliorés instruisant les modèles à imiter les styles humains (par exemple, ajouter des détails spécifiques, éviter le Markdown, varier la longueur des phrases, intégrer des nuances culturelles).
3. Ont régénéré le MGT en utilisant ces prompts améliorés et réévalué la précision de détection.

Étude de préférence

Les auteurs ont mené une tâche d'étiquetage des préférences où les annotateurs choisissaient entre :

1. Texte écrit par un humain.
2. MGT original.
3. MGT amélioré.
4. « Aucun » (aucun préféré).
   Cela a été fait pour répondre à la question de savoir si le texte « semblable à l'humain » est réellement « apprécié par les humains ».

3. Contributions clés

1. Défi au consensus précédent : L'étude démontre que les annotateurs humains experts peuvent détecter le MGT avec une haute précision, en moyenne 87,6 % sur tous les jeux de données, contredisant l'idée que les humains sont limités à des devinettes aléatoires.
2. Identification de signaux distinctifs : Les auteurs ont résumé cinq distinctions généralisées qui séparent le texte humain du MGT à travers les langues :
   • Concrétion : Le texte humain contient des nombres, des noms, des dates et des URL spécifiques ; le MGT est souvent générique.
   • Nuance culturelle : Le texte humain reflète des subtilités régionales, religieuses et culturelles ; le MGT en manque souvent ou utilise un langage standard.
   • Diversité : Le texte humain varie considérablement en longueur, structure et sentiment ; le MGT tend vers des structures formulaire et des tons neutres/positifs.
   • Mise en forme : Le MGT utilise souvent le Markdown (puces, gras) et une segmentation propre ; le texte humain est souvent composé de blocs non structurés avec des fautes de frappe.
   • Mélange de langues : Le MGT (surtout non anglais) mélange souvent par inadvertance l'anglais ou d'autres langues ; le texte humain est plus cohérent.
3. Efficacité de l'ingénierie des prompts : Instruire explicitement les modèles à combler ces écarts (par exemple, « ajouter des dates spécifiques », « éviter les puces ») a réduit la précision de détection humaine de 87,6 % à 72,5 %, prouvant que l'ingénierie des prompts peut partiellement combler l'écart de détection.
4. Paradoxe de la préférence : L'étude révèle que les humains ne préfèrent pas toujours le texte écrit par l'homme. Lorsque les annotateurs ne pouvaient pas clairement identifier la source, ils préféraient souvent le texte généré par machine, en particulier si le texte humain contenait un biais négatif, de la méchanceté ou manquait d'empathie.

4. Résultats clés

• Précision de détection :

  • Moyenne globale : 87,6 % (plage de 50,1 % à 100 %).
  • Haute performance : Le chinois, l'anglais, l'arabe, l'italien et le russe ont montré des taux de détection élevés (>87 %).
  • Faible performance : Le vietnamien, le kazakh, le hindi et le japonais ont montré des taux plus bas, principalement en raison de la difficulté à distinguer le MGT dans les textes de style Wikipédia (où les LLM sont fortement entraînés) et les contenus de courte forme comme les tweets.
  • Impact du modèle : GPT-4o était généralement plus difficile à détecter que les modèles plus petits (par exemple, Qwen2, Llama3-8B).
  • Impact du scénario : La détection binaire unique (sans comparaison) était plus difficile que la détection binaire par paire.

• Impact des prompts améliorés :

  • La précision de détection a chuté de manière significative sur tous les jeux de données après l'application de prompts améliorés (par exemple, les actualités russes sont passées de 100 % à 86,5 %).
  • Cependant, les nuances culturelles et la diversité structurelle restaient difficiles à reproduire entièrement.
  • Les modèles de détection automatique ont également connu une baisse de performance (19 modèles sur 26 ont performé moins bien sur le texte amélioré), indiquant que les améliorations étaient réelles.

• Préférence humaine :

  • Les préférences étaient partagées à peu près 50/50 entre le texte humain et le texte machine.
  • Décision cruciale : Lorsque la précision de détection était élevée (les utilisateurs pouvaient identifier le texte humain), ils préféraient le texte humain. Lorsque la détection était difficile (incertitude), ils préféraient souvent le MGT.
  • Contexte émotionnel : Dans des tâches riches en émotions (par exemple, Zhihu QA), les annotateurs préféraient parfois le MGT car les réponses humaines étaient perçues comme « méchantes », biaisées ou manquant d'empathie, tandis que le MGT était poli et neutre.

5. Signification et implications

• Redéfinition de « semblable à l'humain » : L'article soutient que l'objectif du développement des LLM devrait passer de simplement être « semblable à l'humain » (imiter les motifs de surface) à être « apprécié par les humains » (s'aligner sur les préférences individuelles des utilisateurs, l'empathie et le contexte culturel).
• Sécurité et désinformation : La haute précision de détection des experts suggère que la surveillance humaine reste une couche de défense viable contre la mauvaise utilisation du MGT, à condition que les évaluateurs soient formés et conscients des marqueurs linguistiques spécifiques.
• Défis multilingues : L'étude met en évidence que la qualité de la détection et de la génération varie considérablement selon la langue et le domaine. Les langues non anglaises et certains domaines (comme Wikipédia) restent des frontières difficiles.
• Publication de ressources : Les auteurs ont publié un vaste jeu de données comprenant :
  • 17 000 MGT originaux et 32 000 MGT améliorés.
  • 13 500 étiquettes de détection humaine.
  • 5 000 étiquettes de préférence.
  • Des métadonnées pour 19 annotateurs.
    Cette ressource facilite les recherches futures sur l'intersection de la détection, de la préférence et des caractéristiques individuelles (par exemple, personnalité, genre, expertise).

Conclusion

L'article conclut que si les LLM deviennent de plus en plus semblables à l'humain, les humains experts peuvent toujours les distinguer avec une haute précision en recherchant des écarts spécifiques en matière de concrétion, de nuance culturelle et de diversité. Cependant, la capacité à détecter n'équivaut pas à une préférence pour le texte humain ; dans de nombreux cas, la nature « polie » et « structurée » de l'IA la rend préférable à la nature « désordonnée » ou « biaisée » de l'écriture humaine. Les futurs LLM doivent évoluer pour non seulement imiter le style humain, mais aussi s'aligner sur les préférences complexes et individualisées des utilisateurs humains.