Equal Accuracy, Unequal Evidence: Search APIs as Decision Surfaces for Tool-Using Agents
Cet article soutient que les API de recherche commerciales ne devraient pas être évaluées uniquement par la précision des réponses, mais comme des « surfaces de décision » dont les caractéristiques distinctes en matière d'extraits et de classement influencent de manière significative les budgets de récupération et les stratégies d'exploration des agents, même lorsque la performance finale des réponses reste comparable entre les fournisseurs.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective tentant de résoudre un mystère, mais que vous ne pouvez pas examiner la scène du crime vous-même. Au lieu de cela, vous devez compter sur un « moteur de recherche » pour vous remettre une pile de fiches bristol. Chaque fiche comporte une URL (l'adresse), un titre et un minuscule extrait de texte. En vous basant uniquement sur ces fiches, vous décidez : « Ai-je assez d'informations pour résoudre l'affaire maintenant ? » ou « Dois-je consacrer du temps et de l'argent supplémentaires pour aller lire l'article complet à cette adresse ? »
Cet article traite de la manière dont le design de ces fiches bristol modifie votre travail de détective, même si vous finissez par résoudre le même nombre de mystères.
Le grand malentendu
Pendant longtemps, les gens ont pensé que si deux moteurs de recherche vous donnaient le même nombre de bonnes réponses, ils étaient essentiellement le même outil. L'article soutient que c'est comme dire que deux cartes différentes sont identiques simplement parce qu'elles vous mènent à la même destination. Cela occulte le voyage.
Les auteurs suggèrent qu'un moteur de recherche n'est pas seulement une liste de liens ; c'est une « surface de décision ». C'est l'ensemble spécifique d'indices (extraits, titres et classements) qui force votre agent IA à faire un choix : S'arrêter et répondre, ou continuer à creuser ?
L'expérience : Un jeu de détective contrôlé
Pour tester cela, les chercheurs ont mis en place un jeu strict. Ils ont figé le détective (un agent IA), les règles et les outils. La seule chose qu'ils ont modifiée est le fournisseur de moteur de recherche qui distribue les fiches. Ils en ont testé trois : Brave, Tavily et Firecrawl.
Ils ont posé 100 questions très difficiles (issues d'un ensemble de données appelé SEALQA-HARD). Voici le rebondissement : les trois moteurs de recherche ont trouvé la réponse finale à peu près le même nombre de fois (25, 25 et 26 sur 100). Si vous ne regardiez que le tableau des scores, vous penseriez qu'ils sont identiques.
Mais lorsque les chercheurs ont regardé sous le capot pour voir comment le détective travaillait, l'histoire changeait complètement.
Les trois « paquets de fiches » différents
Même si le score final était de l'égalité, l'« économie » des preuves était totalement différente pour chaque fournisseur :
Brave (Le paquet « riche en or ») :
Brave distribuait des fiches où la réponse était souvent cachée directement dans le minuscule texte de l'extrait. Le détective pouvait voir l'or de la réponse simplement en lisant la fiche. Cependant, parce que les fiches étaient si utiles, le détective se perdait parfois avec trop d'informations ou manquait la fiche spécifique qui importait.- La statistique : Brave offrait un support de pré-chargement (indices visibles avant de lire la page complète) sur 30 des questions.
- Le piège : Même si les indices étaient là, l'agent ne les a utilisés pour résoudre l'affaire immédiatement que sur 13 des 101 lignes « soutenant l'or » (environ 13 %).
Tavily (Le paquet « chargé en haut ») :
Tavily était différent. Il ne donnait pas autant de réponses dans les extraits, mais quand il avait la bonne réponse, il plaçait cette fiche au Rang 1 (tout en haut).- La statistique : Pour les questions où la réponse était visible dans l'extrait, 17 sur 34 (50 %) étaient tout en haut.
- L'implication : Si votre détective a une règle du type « Toujours lire la première fiche », Tavily est un partenaire super efficace.
Firecrawl (Le paquet « explorateur ») :
Les fiches de Firecrawl étaient moins susceptibles d'avoir la réponse directement sur le devant. Cela forçait le détective à être plus aventureux. Sous les mêmes règles, l'agent utilisant Firecrawl a fini par cliquer sur « récupérer la page complète » plus souvent.- La statistique : L'agent a récupéré des pages pour 81 % des questions avec Firecrawl, contre 65 % avec Brave.
- Le piège : Cela signifiait que l'agent dépensait plus de jetons (argent numérique) et de temps pour explorer, même si la précision finale était la même.
Le piège de la « contradiction »
L'article a également découvert quelque chose d'effrayant : parfois, les fiches mentaient. Les chercheurs ont mesuré la fréquence à laquelle un extrait contredisait la vraie réponse.
- Brave : 0,92 contradiction pour chaque indice correct.
- Firecrawl : 2,59 contradictions pour chaque indice correct.
Cela signifie qu'avec Firecrawl, le détective devait traverser plus de bruit confus ou contradictoire avant de trouver la vérité.
Le verdict
L'article conclut que choisir un moteur de recherche est une décision de politique, pas seulement de qualité.
Si vous choisissez Brave, vous obtenez beaucoup d'informations d'emblée, mais vous pourriez avoir besoin d'une stratégie pour filtrer les données.
Si vous choisissez Tavily, vous devriez faire confiance au premier résultat, car c'est là que se cachent les bonnes choses.
Si vous choisissez Firecrawl, vous devez être prêt à dépenser plus de ressources en creusant plus profondément.
Les auteurs suggèrent que nous arrêtions de traiter les API de recherche comme de simples « créateurs de listes » et que nous commencions à les traiter comme des surfaces de décision. Le bon choix dépend de la manière dont votre agent est programmé pour agir. Une approche « taille unique » ne fonctionne pas car, comme le suggère cette étude, une précision égale peut masquer des parcours internes très différents et parfois très coûteux.
Ainsi, la prochaine fois que vous verrez deux agents IA donner la même réponse, ne supposez pas qu'ils ont pris le même chemin. L'un pourrait avoir trouvé le trésor sur la première carte, tandis que l'autre a dû creuser à travers une montagne de terre pour y parvenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.