Résumé technique : Conception et rapports des référentiels pour le travail intellectuel

Énoncé du problème

Le développement rapide des agents de modèles de langage (LLM) a élargi le champ de l'évaluation de l'IA vers le « travail intellectuel » — un travail où la connaissance sert à la fois d'entrée et de sortie, incluant des domaines tels que la programmation, la recherche, les soins de santé et l'administration. Cependant, la conception actuelle des référentiels et la logique d'évaluation adhèrent largement aux paradigmes traditionnels du traitement du langage naturel (NLP). Ces paradigmes évaluent généralement des comportements d'entrée-sortie bornés (par exemple, la génération de réponses, le résumé, la récupération) plutôt que la production d'artefacts de travail au sein de flux de travail situés.

Par conséquent, il existe un décalage entre les scores des référentiels et les affirmations plus larges sur les capacités de travail qu'ils sont censés étayer. Un score élevé sur une tâche composante (par exemple, la récupération d'un document) n'indique pas de manière fiable la capacité d'un système à effectuer l'activité complète de travail intellectuel (par exemple, le triage clinique ou l'analyse juridique). Cette inférence est fragile car la signification d'une production de travail intellectuel dépend fortement du rôle, des matériaux, du contexte et du flux de travail en aval dans lesquels elle est produite. Les référentiels actuels omettent souvent de spécifier ces contraintes contextuelles, conduisant à des scores qui ne peuvent pas soutenir de manière fiable des affirmations sur les capacités de déploiement dans le monde réel.

Méthodologie

L'article propose un cadre de conception et de rapport en trois étapes pour lier explicitement les scores des référentiels à des affirmations de travail spécifiques. Cette approche s'appuie sur les études du travail, la théorie de l'action située et la théorie de la validité, en soulignant que le travail intellectuel est organisé à travers des rôles, des matériaux locaux et des artefacts qui doivent être utilisables dans les flux de travail en aval.

1. Définir l'activité de travail

Les auteurs soutiennent que la portée du référentiel devrait être définie par « l'activité de travail » plutôt que par des domaines larges (par exemple, « les soins de santé ») ou des tâches composantes étroites (par exemple, « le résumé »). Pour opérationnaliser cela, l'article dérive un inventaire de 18 activités de travail interprofessionnelles à partir de la base de données des tâches professionnelles O*NET (Zones d'emploi 3 à 5).

• Processus de dérivation : En partant de 18 796 énoncés de tâches O*NET, les auteurs ont filtré les professions de travail intellectuel, supprimé les tâches manuelles ou routinières, et conservé 12 464 énoncés. Un filtrage plus strict pour « l'inclusion dans l'atlas » a produit 8 372 énoncés, qui ont été réécrits en phrases neutres par profession, intégrés, regroupés (en utilisant UMAP et HDBSCAN) et consolidés via un examen par un panel d'experts.
• Résultat : 18 activités de travail distinctes (par exemple, analyse, administration, conception, inspection, dépannage, tenue de registres, coordination, conseil, enquête) ont été identifiées. Elles servent d'unité de rapport pour les affirmations des référentiels.

2. Spécifier le contexte testé

Le cadre exige que les référentiels définissent explicitement les conditions dans lesquelles l'activité de travail est évaluée. La validité du score est conditionnée par quatre dimensions :

• Matériaux : Les artefacts disponibles (documents, outils, bases de données) et s'ils incluent des éléments non pertinents ou nécessitent que le système les trouve.
• Outils : Les capacités accordées au système (recherche, édition, calcul, appels API) et si les états des outils persistent.
• Rôle et portée : Le rôle spécifique joué par le système, ses limites de décision et les protocoles d'escalade.
• État du flux de travail : L'étape spécifique du flux de travail testée (par exemple, la rédaction initiale par rapport à la révision par rapport au transfert) et l'état requis après achèvement.

3. Évaluer le produit de travail approprié

Le score doit se concentrer sur le « produit de travail » — l'objet laissé par le système pour examen, classement, exécution ou poursuite en aval — plutôt que sur le simple contenu visible (par exemple, une réponse de chat).

• Conception de la grille d'évaluation : Les critères d'évaluation doivent être dérivés des exigences du produit de travail, en vérifiant :
  1. Si le résultat a utilisé les matériaux appropriés.
  2. Si le résultat a respecté le rôle assigné et les contraintes du flux de travail.
  3. Si le résultat a laissé les informations nécessaires aux acteurs en aval (par exemple, des citations traçables, des notes de transfert, des changements d'état).
• Limitation de l'affirmation : L'« Affirmation étayée » est définie comme l'affirmation la plus forte qu'un score peut soutenir compte tenu de l'activité spécifique, du contexte testé et du produit évalué.

Contributions clés

1. Une structure de rapport en trois étapes : Une approche formalisée pour la conception de référentiels qui impose des définitions explicites de l'activité de travail, du contexte testé et du produit de travail évalué pour prévenir les affirmations de capacités généralisées.
2. Inventaire des activités de travail basé sur O*NET : Un inventaire préliminaire de 18 activités de travail récurrentes dérivées des énoncés de tâches O*NET, fournissant un vocabulaire standardisé pour que les concepteurs de référentiels puissent mapper les tâches vers des affirmations de travail spécifiques.
3. Cadre d'analyse de cas : L'application de ce cadre à trois référentiels existants pour démontrer comment les choix de conception façonnent les affirmations étayées :
   • GDPVAL : Un référentiel de livrables professionnels non liés au code. L'analyse montre qu'il étaye des affirmations sur la production de livrables de conformité spécifiques sous des invites fixes, mais manque de preuves pour l'intégration dans les flux de travail en aval.
   • OFFICEQA PRO : Un référentiel d'analyse de documents contextualisé. L'analyse révèle qu'il étaye des affirmations sur l'analyse numérique contextualisée, mais échoue à évaluer la trace de raisonnement de l'analyste ou le dossier de preuves, limitant les affirmations sur le travail de révision de documents.
   • APEX-SWE : Un référentiel d'ingénierie logicielle. L'analyse montre qu'il étaye des affirmations sur l'achèvement de tâches d'intégration dans un environnement spécifique, mais ne couvre pas le déploiement en production, l'examen de code ou la maintenance à long terme.

Résultats et constatations

L'article ne présente pas de nouvelles données de performance expérimentales, mais plutôt une analyse structurelle des référentiels existants. Les études de cas démontrent que :

• Identification des écarts : La plupart des référentiels évaluent un « proxy » (par exemple, une réponse finale ou un correctif de code) plutôt que le « produit de travail » complet (par exemple, un document révisé avec des changements traçables ou un système déployé avec des procédures de retour arrière).
• Limites des affirmations : Les référentiels actuels étayent souvent des affirmations étroites (par exemple, « peut générer un correctif qui passe les tests ») mais sont fréquemment interprétés comme des affirmations plus larges (par exemple, « peut effectuer de l'ingénierie logicielle »). Le cadre proposé clarifie ces limites.
• Utilité de l'inventaire : L'inventaire de 18 activités de travail correspond avec succès à divers référentiels, révélant que de nombreuses évaluations actuelles ne couvrent que partiellement des activités spécifiques (par exemple, utiliser la « récupération » comme proxy pour l'« enquête » sans tester la sélection ou la reconstruction de preuves).

Importance et affirmations

L'article revendique modestement de fournir une structure de rapport minimale pour maintenir les scores des référentiels de travail intellectuel liés au travail qu'ils représentent réellement. Il ne prétend pas remplacer les preuves de déploiement ni fournir une théorie complète de la qualité des référentiels.

• Interprétabilité : L'importance principale réside dans la mise en évidence explicite des preuves fournies par un score de référentiel. En indiquant quelle activité est testée, dans quel contexte, et quel produit est évalué, les parties prenantes peuvent mieux interpréter ce qu'un score implique concernant la capacité réelle d'un système.
• Prévention des affirmations excessives : Le cadre vise à réduire les « affirmations de capacités trop larges » en obligeant les rapports de référentiels à reconnaître les écarts entre la tâche testée et l'affirmation de travail plus large.
• Orientation future : Les auteurs suggèrent que les futurs référentiels devraient évoluer vers une évaluation plus directe des produits de travail (par exemple, des changements d'état exécutables, des artefacts examinés) et que l'inventaire des activités de travail devrait être considéré comme un point de départ pour la révision et l'expansion basés sur les flux de travail observés et les normes professionnelles.

L'article conclut que, bien que les études de déploiement restent nécessaires pour les affirmations sur la productivité et la valeur organisationnelle, les référentiels jouent un rôle distinct en tant que preuves publiques, reproductibles et comparables avant le déploiement. Ces preuves sont les plus utiles lorsque leurs limites concernant l'activité de travail, le contexte et le produit sont explicitement énoncées.