Conversational AI-Enhanced Exploration System to Query Large-Scale Digitised Collections of Natural History Museums

Cet article présente un système conçu par une approche centrée sur l'humain qui utilise l'intelligence artificielle conversationnelle et une carte interactive pour permettre au public d'explorer et d'interroger en langage naturel près de 1,7 million de spécimens numérisés des collections de sciences naturelles du Musée australien.

L'essentiel

🏛️ Le Super-Héros Numérique du Musée

Imaginez que le Musée australien est une immense bibliothèque cachée. Au lieu de livres, elle contient 21 millions d'objets : des insectes, des oiseaux, des poissons et des plantes. La plupart sont rangés dans des réserves sombres, loin des yeux du public.

Pendant des années, pour voir ces trésors, il fallait être un expert scientifique avec un badge spécial, ou simplement regarder quelques vitrines à l'entrée. C'était comme essayer de trouver une aiguille dans une botte de foin... mais une botte de foin qui grandit chaque jour !

Les chercheurs de l'Université de Technologie de Sydney et du Musée ont eu une idée géniale : transformer cette immense bibliothèque en une conversation amicale.

🗺️ La Carte au Trésor Interactive

Au lieu de vous donner une liste de numéros compliquée, le système crée une carte interactive géante sur votre écran.

• L'analogie : Imaginez une carte du monde où chaque point lumineux est un animal réel qui a été photographié et numérisé.
• L'expérience : Vous zoomez sur Sydney, et soudain, des milliers de points apparaissent. Vous cliquez sur un point, et pop ! Une petite fenêtre s'ouvre avec la photo de l'animal, son nom, et l'histoire de qui l'a trouvé et quand. C'est comme jouer à un jeu de "chasse au trésor" où le trésor, c'est la biodiversité.

🤖 Le Chatbot qui ne "Hallucine" pas

C'est ici que la magie de l'Intelligence Artificielle (IA) entre en jeu, mais avec une règle très stricte.

Habituellement, les IA sont comme des élèves brillants mais un peu rêveurs. Si vous leur posez une question précise sur un musée, ils peuvent inventer des réponses parce qu'ils veulent juste vous faire plaisir. C'est dangereux pour la science !

Ici, les chercheurs ont donné à l'IA un super-pouvoir spécial : le "téléphone direct" (appelé function calling).

• L'analogie : Imaginez que l'IA est un guide touristique très poli, mais qui ne connaît pas la ville par cœur. Par contre, elle a un téléphone direct vers le bureau des archives du musée.
• Comment ça marche : Si vous demandez : "Combien de scarabées de Noël avez-vous en Nouvelle-Galles du Sud ?", le guide ne devine pas. Il décroche le téléphone, appelle la base de données réelle, compte les scarabées, et vous rapporte le chiffre exact. Il ne peut pas mentir car il doit lire les faits réels avant de répondre.

🗣️ Parlez comme un Humain, pas comme un Robot

Le plus beau dans ce système, c'est que vous n'avez pas besoin de savoir utiliser une base de données complexe.

• Avant : Il fallait savoir des mots de code comme SELECT * FROM table WHERE.... C'était comme essayer de parler à un ordinateur en langage binaire.
• Maintenant : Vous pouvez dire : "Montre-moi les oiseaux trouvés dans mon quartier en 1990" ou "J'ai une photo de cet oiseau dans mon jardin, c'est quoi ?".
• Le résultat : L'IA comprend votre langage naturel, cherche la photo dans la base de données du musée, et vous répond avec des informations précises. C'est comme avoir un expert scientifique à votre disposition 24h/24, qui parle votre langue.

🎨 Comment ont-ils construit ça ? (La méthode "Humaine")

Les chercheurs n'ont pas tout codé dans leur coin. Ils ont fait comme un architecte qui demande à ses futurs habitants ce qu'ils veulent dans leur maison.

1. Ils ont écouté : Ils ont réuni des scientifiques et des éducateurs du musée pour comprendre leurs problèmes.
2. Ils ont testé : Ils ont créé des versions brouillonnes (des prototypes) et les ont montrés à des bénévoles.
3. Ils ont ajusté : Les bénévoles ont dit : "J'aimerais voir des photos !", "La carte est géniale !", "Ne me donne pas trois façons de répondre, juste une bonne réponse d'expert."
   Grâce à ces retours, ils ont affiné le système pour qu'il soit vraiment utile et agréable.

🌍 Pourquoi c'est important ?

Ce projet change la donne pour deux raisons :

1. Démocratisation : N'importe qui, n'importe où dans le monde, peut explorer ces collections sans avoir besoin de diplôme. C'est comme ouvrir les portes des réserves du musée au monde entier.
2. Connexion : Cela permet de relier la nature à notre vie quotidienne. Vous pouvez regarder la carte, voir quels animaux vivent près de chez vous, et comprendre que la nature est partout autour de nous, même dans la ville.

En résumé : Ce système est un pont magique entre les millions d'objets cachés dans les réserves d'un musée et la curiosité naturelle de n'importe quel humain. Il utilise une IA intelligente et honnête pour transformer des données froides en une conversation vivante et passionnante sur la nature. 🦜🌿🗺️

Résumé technique

Voici un résumé technique détaillé de l'article « Conversational AI-Enhanced Exploration System to Query Large-Scale Digitised Collections of Natural History Museums », rédigé en français.

1. Problématique

Les musées d'histoire naturelle, tels que le Musée australien, possèdent des collections immenses (plus de 21 millions de spécimens, dont plus de 4 millions numérisés). Cependant, l'accès du public à ces données est entravé par plusieurs facteurs :

• Complexité et échelle : La taille massive et la complexité scientifique des données rendent leur exploration difficile pour le grand public.
• Barrières techniques : Les outils de gestion de données conventionnels (bases de données relationnelles) nécessitent une connaissance des schémas de données ou des compétences en requêtes structurées (SQL), ce qui exclut les non-spécialistes.
• Limites des interfaces existantes : Les recherches par mots-clés sont souvent rigides et ne permettent pas une exploration sémantique ou contextuelle naturelle.
• Fiabilité des IA génératives : L'utilisation directe de grands modèles de langage (LLM) pose le risque d'hallucinations (réponses inventées) lorsqu'ils sont interrogés sur des données factuelles spécifiques, car ils s'appuient sur leurs connaissances pré-entraînées plutôt que sur les données réelles du musée.

2. Méthodologie

L'équipe a adopté une approche de conception centrée sur l'humain (Human-Centered Design) itérative, impliquant une collaboration entre chercheurs de l'Université de technologie de Sydney (UTS) et le Musée australien.

• Phase de découverte (Focus Groups) : Deux ateliers ont été menés avec 30 membres du personnel du musée (scientifiques, gestionnaires de collections, personnel d'engagement public). L'objectif était d'identifier les besoins, les défis actuels et les objectifs de conception.
• Itérations de conception :
  • Itération 1 : Prototypage d'une interface de chat basique avec un résumé textuel, testé auprès d'experts. Feedback : nécessité d'une visualisation spatiale (carte) et d'images de spécimens.
  • Itération 2 : Développement d'un prototype de preuve de concept (PoC) intégrant une carte interactive et un agent conversationnel. Un test utilisateur a été réalisé avec 12 bénévoles numériques (DigiVols).
  • Résultats des tests : Les utilisateurs ont apprécié l'exploration spatiale mais ont souligné le manque de fiabilité des réponses de l'IA lorsqu'elle n'était pas ancrée dans les données réelles (hallucinations) et la confusion liée aux multiples « personnalités » de l'IA.
• Développement final : Conception du système « Australian Museum Collection Explorer » en intégrant les retours pour garantir l'accessibilité des requêtes, la fiabilité des données et l'accès omniprésent.

3. Architecture Technique et Contributions Clés

Le système repose sur une architecture hybride combinant une interface utilisateur moderne et des mécanismes avancés d'IA pour garantir l'exactitude des données.

Architecture Système

• Frontend : Développé en React, offrant une interface divisée avec une carte interactive à gauche et un agent conversationnel à droite.
• Backend : Serveur Flask (Python) orchestrant les requêtes entre l'interface et les services externes.
• Sources de données : Le système interroge dynamiquement l'API Biocache de l'Atlas of Living Australia (ALA), qui agrège les données de collections biologiques. Au moment de l'étude, cela représentait 1,685,922 enregistrements de spécimens valides.
• Modèle de Langage : Utilisation de l'API OpenAI (modèle gpt-5-mini) pour la compréhension et la génération de langage naturel.

Contributions Techniques Majeures

1. Mécanisme d'Appel de Fonction (Function Calling) :

   • Au lieu de laisser le LLM générer des requêtes SQL non contraintes (source d'erreurs), le système configure le modèle pour qu'il appelle des fonctions prédéfinies (JSON Schema).
   • Ces fonctions (search_specimens, get_specimen_statistics, get_specimen_by_id) envoient des requêtes structurées aux API externes (ALA Biocache, Google Geocoding).
   • Cela garantit que les réponses sont ancrées (grounded) dans les données réelles et à jour, éliminant les hallucinations sur les statistiques ou les spécificités des collections.

2. Pipeline de Traitement des Requêtes :

   • Reconnaissance d'intention : Le LLM détermine si la question nécessite une recherche de données ou si elle peut être répondue par des connaissances générales.
   • Résolution taxonomique et géographique : Conversion automatique des noms communs en noms scientifiques (via l'API BIE de l'ALA) et résolution des noms de lieux en coordonnées géographiques (via Google Geocoding).
   • Génération de réponse : Le LLM synthétise les résultats structurés retournés par l'API en un langage naturel fluide, avec des liens directs vers la source de données (ALA) pour vérification.

3. Visualisation Spatiale Interactive :

   • Utilisation de Leaflet.js avec un chargement dynamique basé sur la vue (viewport-based loading) pour gérer la visualisation de millions de points de données sans surcharger le navigateur.
   • Affichage de cartes de spécimens avec images, métadonnées et regroupement des points denses.

4. Interactions Multimodales :

   • Le système permet non seulement de demander des images de spécimens, mais aussi d'analyser des images uploadées par l'utilisateur (via les capacités de vision du LLM) pour identifier des espèces et les relier aux collections du musée.

4. Résultats

• Fonctionnalité : Le système permet d'interroger près de 1,7 million de spécimens en langage naturel (ex: « Combien de coléoptères de Noël avez-vous en Nouvelle-Galles du Sud ? »).
• Fiabilité : L'utilisation de l'appel de fonction a résolu le problème de fiabilité observé lors des tests précédents. Les réponses sont désormais factuelles et vérifiables via des liens directs.
• Expérience Utilisateur : Les tests ont confirmé que la combinaison de la carte interactive et de l'agent conversationnel favorise une exploration sérendipiteuse (découverte fortuite) et rend les données scientifiques accessibles aux non-experts.
• Adoption : Le système a été déployé avec une interface accessible via navigateur, permettant un accès universel sans installation logicielle.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de l'informatique des collections et de l'interaction humain-données :

• Changement de paradigme : Il passe d'un modèle d'accès « omniprésent » (ubiquitous access) à un modèle d'« agence omniprésente » (ubiquitous agency). Les utilisateurs ne se contentent pas de consommer du contenu pré-défini ; ils peuvent diriger leur propre exploration grâce à des requêtes libres.
• Modèle pour les institutions scientifiques : L'article fournit une feuille de route reproductible pour les musées souhaitant intégrer l'IA conversationnelle de manière responsable, en évitant les pièges des hallucinations grâce à l'ancrage des données (RAG et Function Calling).
• Démocratisation de la science : En supprimant les barrières techniques (SQL, schémas de données), le système permet au grand public, aux éducateurs et aux chercheurs éloignés d'interagir directement avec des collections scientifiques massives et complexes.
• Intégration contextuelle : En reliant les données aux lieux géographiques réels (via la carte), le système aide à intégrer les collections d'histoire naturelle dans l'environnement quotidien des utilisateurs, transformant la connaissance scientifique en une « couche invisible » de la vie quotidienne.

En conclusion, ce système démontre qu'il est possible de créer des agents scientifiques fiables et interactifs capables de gérer des données massives et dynamiques, ouvrant la voie à de nouvelles formes d'engagement public avec le patrimoine naturel.