On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

Résumé Technique : Sur l'abolition du « papier ICSE » et l'adoption de la « [Proposition] Enregistrée » et du « Rapport de [Résultats] »

Énoncé du Problème
L'article identifie deux crises critiques et interdépendantes qui frappent la communauté de la recherche en génie logiciel (SE) : une crise de la reproductibilité et un « cycle vicieux de la nouveauté ».

• Crise de la reproductibilité : Il existe une incapacité généralisée à reproduire les résultats, particulièrement évidente dans des domaines comme l'apprentissage automatique pour la détection de vulnérabilités, où les nouveaux articles invalident fréquemment les travaux précédents. Les données d'enquête indiquent que les chercheurs retirent souvent le code ou les données après la publication, et que la complexité des chaînes d'outils rend la réplication difficile.
• Cycle vicieux de la nouveauté : Le modèle de publication actuel privilégie la « nouveauté » (nouveaux outils, jeux de données ou techniques) au détriment de la « rigueur » et de la validation. Cela crée une boucle de rétroaction où :
  • Les évaluateurs rejettent les études de réplication ou les résultats négatifs parce qu'ils ne sont pas « nouveaux ».
  • Les groupes établis dominent la littérature, créant un environnement élitiste où contester les normes établies est découragé.
  • Les chercheurs se concentrent sur des « exemples jouets » (toy examples) et des améliorations incrémentales pour garantir leur publication, ce qui produit des outils inutilisables en pratique industrielle.
  • La communauté échoue à consolider les connaissances, menant à un corpus de recherche superficiel avec une pertinence industrielle limitée.

Méthodologie
Les auteurs ne présentent pas de nouvelles données empiriques ou un nouvel outil logiciel. L'article est un article de position (position paper) proposant une réforme structurelle de l'écosystème de publication. La méthodologie repose sur :

1. Analyse d'enquête : Les auteurs analysent les réponses de la pré-enquête « Future of Software Engineering » (Storey & van der Hoek, 2026) et les discussions du canal Discord de la communauté. Ils en extraient des thèmes spécifiques concernant la tension entre nouveauté et rigueur, ainsi que la marginalisation de la réplication.
2. Proposition conceptuelle : Sur la base de ces conclusions qualitatives, les auteurs proposent un nouveau modèle de publication à deux niveaux pour remplacer le traditionnel « papier ICSE » (où l'idée, la méthodologie et la validation sont réalisées par les mêmes auteurs).

Contributions Clés : Le Système à Deux Niveaux
La contribution centrale est la proposition d'abolir le format standard de l'article technique pour les sessions principales et de le remplacer par deux types de publications distincts et de premier rang :

1. [Proposition] Enregistrée :

   • Focus : Nouveauté et Rigueur Méthodologique.
   • Contenu : Les auteurs soumettent une nouvelle idée de recherche, une hypothèse et un plan d'analyse ou d'expérimentation détaillé avant de mener les travaux.
   • Critères d'évaluation : Les évaluateurs évaluent la nouveauté de l'idée et la solidité de la méthodologie proposée. L'article soutient que l'attente de résultats doit être supprimée à ce stade ; la proposition est jugée sur sa capacité à combler les lacunes identifiées par des résultats négatifs passés ou des justifications théoriques.
   • Résultat : Si elle est acceptée, la proposition est présentée, et la « course » à la validation commence.

2. Rapport de [Résultats] :

   • Focus : Rigueur et Validation.
   • Contenu : Tout chercheur (pas seulement les proposants originaux) peut soumettre un rapport détaillant l'exécution de l'expérience de validation basée sur une [Proposition] Enregistrée précédemment acceptée.
   • Format : Ce sont des articles plus courts (potentiellement des renvois de demi-page à la proposition) qui se concentrent strictement sur l'exécution et les résultats, complétés par des artefacts.
   • Inclusivité : Crucialement, ce niveau permet à plusieurs équipes indépendantes de valider la même proposition. Cela injecte la réplication directement dans le pipeline de publication plutôt que de la traiter comme une réflexion après coup.
   • Résultat : Le système prévoit que la plupart des validations indépendantes ne confirmeront pas la proposition originale. Seules les propositions qui survivent à une validation indépendante et rigoureuse par plusieurs équipes sont considérées comme assez robustes pour une adoption industrielle.

Résultats et Revendications
En tant qu'article de position, les auteurs ne rapportent pas de résultats expérimentaux de leur propre système. Ils présentent plutôt les affirmations et attentes suivantes basées sur leur analyse :

• Découplage de la Nouveauté et de la Rigueur : Le système proposé sépare la validation des « nouvelles idées » (Proposition) de la validation de la « vérité » (Rapport de Résultats), répondant au compromis où les évaluateurs exigent actuellement les deux simultanément.
• Démocratisation de la Validation : En permettant à « n'importe qui » de soumettre un Rapport de Résultats, le système brise le monopole des groupes établis. Il élimine le besoin d'« autorisation » de la part de chercheurs célèbres pour contester des travaux existants.
• Gestion des Résultats Négatifs : Le système valorise explicitement les résultats négatifs ou conflictuels comme des points de données informatifs qui mesurent la robustesse, plutôt que de les rejeter comme des échecs.
• La Règle des « Deux Implémentations Indépendantes » : Les auteurs font un parallèle avec la règle de l'IETF pour l'adoption des RFC (exigeant deux implémentations interopérables indépendantes). Ils soutiennent que l'adoption industrielle ne devrait suivre que lorsqu'au moins deux groupes indépendants ont validé avec succès une Proposition Enregistrée.
• Atténuation du Problème du « Disque Dur Perdu » : En exigeant que plusieurs équipes exécutent le même protocole, le risque de perte de données (par exemple, un post-doctorant perdant un disque dur) est réduit de manière exponentielle, garantissant la survie des données valides.

Signification
L'article affirme que sa signification réside dans l'offre d'une solution « audacieuse » et « disruptive » à la stagnation du domaine du génie logiciel. Il soutient que la culture actuelle de la poursuite de la nouveauté au détriment de la consolidation a rendu la recherche en SE « superficielle » et déconnectée de la pratique industrielle. En institutionnalisant la séparation de la proposition et de la validation, les auteurs visent à :

• Transformer la communauté d'un modèle piloté par les tendances vers un modèle cumulatif.
• Créer une culture où les chercheurs émergents se sentent en sécurité pour contester les idées établies sans crainte de verrouillage (gatekeeping).
• Garantir que seules les solutions prouvées robustes par une réplication indépendante atteignent la pratique industrielle.

Les auteurs reconnaissent que leur proposition est une hypothèse basée sur le sentiment de la communauté et qu'elle peut échouer à atteindre ses objectifs, mais ils affirment qu'il s'agit d'une étape nécessaire pour remédier au phénomène du « post-doc ayant perdu son disque dur » et restaurer la confiance dans le génie logiciel empirique.