On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

Sintesi Tecnica: Sull'abolizione del "Paper ICSE" e l'adozione della "[Proposta] Registrata" e del "[Report] dei Risultati"

Problema
Il documento identifica due crisi critiche e interconnesse che affliggono la comunità della ricerca nell'ingegneria del software (SE): una crisi di replicabilità e un "ciclo vizioso della novità".

• Crisi di replicabilità: Esiste un'ampia incapacità di riprodurre i risultati, particolarmente evidente in campi come il machine learning per il rilevamento delle vulnerabilità, dove nuovi paper invalidano frequentemente i risultati precedenti. I dati dei sondaggi indicano che i ricercatori spesso rimuovono codice o dati dopo la pubblicazione, e le catene di strumenti (toolchain) complesse rendono difficile la replicazione.
• Ciclo vizioso della novità: L'attuale modello di pubblicazione privilegia la "novità" (nuovi strumenti, dataset o tecniche) rispetto al "rigore" e alla validazione. Ciò crea un ciclo di feedback in cui:
  • I revisori rifiutano studi di replicazione o risultati negativi perché non sono "nuovi".
  • I gruppi affermati dominano la letteratura, creando un ambiente elitario in cui sfidare le norme stabilite è scoraggiato.
  • I ricercatori si concentrano su "esempi banali" (toy examples) e miglioramenti incrementali per assicurarsi la pubblicazione, produre strumenti che risultano inutilizzabili nella pratica industriale.
  • La comunità non riesce a consolidare la conoscenza, portando a un corpo di ricerca superficiale con una limitata rilevanza industriale.

Metodologia
Gli autori non presentano nuovi dati empirici o un nuovo strumento software. Il documento è invece un paper di posizione (position paper) che propone una riforma strutturale dell'ecosistema di pubblicazione. La metodologia si basa su:

1. Analisi dei sondaggi: Gli autori analizzano le risposte al pre-sondaggio "Future of Software Engineering" (Storey & van der Hoek, 2026) e le discussioni dal canale Discord della comunità. Estraggono temi specifici riguardanti la tensione tra novità e rigore, e la marginalizzazione della replicazione.
2. Proposta concettuale: Sulla base di questi risultati qualitativi, gli autori propongono un nuovo modello di pubblicazione a due livelli per sostituire il tradizionale "paper ICSE" (dove idea, metodologia e validazione sono eseguite dagli stessi autori).

Contributi Chiave: Il Sistema a Due Livelli
Il contributo principale è la proposta di abolire il formato standard del paper tecnico per i track principali e sostituirlo con due distinti tipi di pubblicazione di prima classe:

1. [Proposta] Registrata:

   • Focus: Novità e Rigore Metodologico.
   • Contenuto: Gli autori sottopongono una nuova idea di ricerca, un'ipotesi e un piano sperimentale/analitico dettagliato prima di condurre il lavoro.
   • Criteri di Revisione: I revisori valutano la novità dell'idea e la solidità della metodologia proposta. Il paper sostiene che l'aspettativa di risultati debba essere rimossa in questa fase; la proposta è giudicata sulla sua capacità di colmare i vuoti identificati da passati risultati negativi o giustificazioni teoriche.
   • Esito: Se accettata, la proposta viene presentata e inizia la "corsa" alla validazione.

2. [Report] dei Risultati:

   • Focus: Rigore e Validazione.
   • Contenuto: Qualsiasi ricercatore (non solo i propositori originali) può sottoporre un report che dettagli l'esecuzione dell'esperimento di validazione basato su una [Proposta] Registrata precedentemente accettata.
   • Formato: Si tratta di paper più brevi (potenzialmente puntatori di mezza pagina alla proposta) che si concentrano strettamente sull'esecuzione e sui risultati, completati da artefatti.
   • Inclusività: Fondamentalmente, questo livello permette a più team indipendenti di validare la stessa proposta. Ciò inserisce la replicazione direttamente nel processo di pubblicazione anziché trattarla come un elemento accessorio.
   • Esito: Il sistema prevede che la maggior parte delle validazioni indipendenti fallirà nel confermare la proposta originale. Solo le proposte che sopravvivono alla validazione indipendente e rigorosa di più team sono considerate abbastanza robuste per l'adozione industriale.

Risultati e Rivendicazioni
In quanto paper di posizione, gli autori non riportano risultati sperimentali del proprio sistema. Invece, presentano le seguenti rivendicazioni e aspettative basate sulla loro analisi:

• Disaccoppiamento tra Novità e Rigore: Il sistema proposto separa la validazione delle "nuove idee" (Proposta) dalla validazione della "verità" (Report dei Risultati), affrontando il compromesso per cui i revisori attualmente richiedono entrambe contemporaneamente.
• Democratizzazione della Validazione: Permettendo a "chiunque" di sottoporre un Report dei Risultati, il sistema rompe il monopolio dei gruppi affermati. Rimuove la necessità di un' "autorizzazione" da parte di ricercatori famosi per sfidare il lavoro esistente.
• Gestione dei Risultati Negativi: Il sistema valorizza esplicitamente i risultati negativi o contrastanti come punti dati informativi che misurano la robustezza, piuttosto che scartarli come fallimenti.
• La Regola delle "Due Implementazioni Indipendenti": Gli autori traggono un parallelo con la regola dell'IETF per l'adozione degli RFC (che richiede due implementazioni interoperabili indipendenti). Sostengono che l'adozione industriale debba seguire solo quando almeno due gruppi indipendenti hanno validato con successo una Proposta Registrata.
• Mitigazione del Problema del "Disco Rigido Perso": Richiedendo a più team di eseguire lo stesso protocollo, il rischio di perdita di dati (ad esempio, un post-doc che perde un disco rigido) è ridotto esponenzialmente, garantendo la sopravvivenza dei dati validi.

Significatività
Il paper sostiene che la sua significatività risieda nell'offrire una soluzione "audace" e "dirompente" allo stallo del campo dell'ingegneria del software. Argomenta che l'attuale cultura di inseguire la novità a scapito della consolidazione ha reso la ricerca SE "superficiale" e scollegata dalla pratica industriale. Istituzionalizzando la separazione tra proposta e validazione, gli autori mirano a:

• Trasformare la comunità da guidata dalle tendenze a guidata dall'accumulo.
• Creare una cultura in cui i ricercatori emergenti si sentano sicuri di sfidare le idee stabilite senza timore di gatekeeping.
• Garantire che solo le soluzioni provate robuste dalla replicazione indipendente raggiungano la pratica industriale.

Gli autori riconoscono che la loro proposta è un'ipotesi basata sul sentimento della comunità e che potrebbe non raggiungere i suoi obiettivi, ma affermano che sia un passo necessario per affrontare il fenomeno del "post-doc che perde il disco rigido" e ripristinare la fiducia nell'ingegneria del software empirica.