From RANS Prediction to Hydrofoil Optimization: A Benchmark of Neural Surrogates

Progettare un idroala, la struttura simile a un'ala che solleva una barca dall'acqua per ridurre la resistenza, è un gioco di infiniti tentativi ed errori. Per trovare la forma perfetta, gli ingegneri devono testare migliaia di variazioni, cambiando la curvatura, lo spessore e l'angolo del profilo. Per ogni nuova forma, devono eseguire una complessa simulazione al computer che risolve la fisica dell'acqua che scorre attorno all'oggetto. Queste simulazioni sono incredibilmente accurate ma anche incredibilmente lente; eseguire un singolo test può richiedere ore su computer potenti. Per questo motivo, esplorare l'intero intervallo di possibili design è spesso troppo costoso e dispendioso in termini di tempo. Negli ultimi anni, gli scienziati hanno cercato di accelerare questo processo addestrando l'intelligenza artificiale affinché funga da scorciatoia. Invece di risolvere le equazioni della fisica da zero ogni volta, questi modelli di IA imparano a prevedere il flusso dell'acqua e le forze risultanti basandosi su schemi che hanno già visto. La speranza è che questi "surrogati neurali" possano trovare i migliori design in pochi secondi anziché in ore.

Tuttavia, uno studio pubblicato dal ricercatore indipendente Aarav Dixit rivela un difetto critico nel modo in cui valutiamo attualmente queste scorciatoie basate sull'IA. Per anni, il modo standard per decidere quale modello di IA fosse il migliore è stato controllare quanto strettamente la sua previsione della pressione dell'acqua corrispondesse alle simulazioni al computer lente e ad alta fedeltà. Se l'IA otteneva correttamente la mappa della pressione, era considerata un successo. Ma questo articolo sostiene che ottenere la mappa della pressione correttamente non significa necessariamente che l'IA aiuterà un ingegnere a trovare la migliore ala per una barca. Il vero test per uno strumento di progettazione non è solo quanto bene imiti una mappa, ma se conduce allo stesso design vincente del metodo lento e affidabile. Per scoprirlo, il ricercatore ha organizzato una rigorosa competizione testa a testa tra quattro diversi tipi di modelli di IA, costringendoli tutti a risolvere lo stesso problema di progettazione e controllando poi le loro risposte finali con nuove simulazioni ad alta precisione.

Lo studio si è concentrato su un set specifico di idroale basate su profili standard noti come profili NACA, definiti da numeri semplici che descrivono la loro curvatura e il loro spessore. Il ricercatore ha generato un database di 381 simulazioni dettagliate di acqua che scorre sopra questi profili a diverse velocità e angoli. Da questi dati, sono state addestrate quattro distinte famiglie di reti neurali per prevedere il flusso e le forze di portanza e resistenza. Il primo tipo, una rete neurale convoluzionale, cerca schemi locali nel flusso come un occhio umano che scansiona una mappa. Il secondo, un operatore neurale di Fourier, analizza il flusso scomponendolo in onde globali. Il terzo, una rete neurale di operatore profondo (deep operator network), separa la descrizione della forma dalla descrizione delle condizioni di flusso. Il quarto, una rete neurale informata dalla fisica, è vincolata dalle leggi fondamentali del moto dei fluidi, costringendola a rispettare le regole della fisica anche quando fa ipotesi.

Una volta addestrati, questi modelli non sono stati solo chiamati a prevedere un singolo caso; hanno ricevuto il compito di trovare la migliore forma possibile per l'idroala. A ciascun modello è stato dato lo stesso punto di partenza e un limite rigoroso di quaranta tentativi per migliorare il design. L'obiettivo era massimizzare il rapporto tra portanza e resistenza, rendendo essenzialmente la barca più veloce con meno sforzo. Fondamentalmente, il ciclo di ottimizzazione è stato eseguito interamente sulle previsioni dell'IA; il computer lento e ad alta fedeltà è stato tenuto spento durante la ricerca per vedere come si sarebbe comportata l'IA quando fosse stata l'unico strumento disponibile. Dopo che l'IA ha selezionato il suo miglior design, il ricercatore ha eseguito una nuova simulazione ad alta precisione su quella specifica forma per vedere cosa dice la vera fisica. Questo controllo finale è stato confrontato con un baseline in cui il computer lento stesso ha eseguito l'ottimizzazione, fornendo uno standard di riferimento per quello che dovrebbe essere il miglior risultato possibile.

I risultati hanno mostrato un sorprendente disallineamento tra accuratezza e utilità. In termini di errore di previsione grezzo, un modello, la rete neurale di operatore profondo, è stato il vincitore netto. Ha previsto la pressione, la portanza e la resistenza con la massima precisione su casi di test non visti, seguita da vicino dalla rete neurale informata dalla fisica. Quest'ultima è stata anche la più veloce, offrendo un'accelerazione di circa 665 volte rispetto alla simulazione tradizionale. Tuttavia, quando questi modelli sono stati utilizzati per progettare effettivamente una nuova ala, il quadro è cambiato. La rete neurale di operatore profondo e quella informata dalla fisica hanno entrambi trovato design che hanno performato eccezionalmente bene, raggiungendo rapporti portanza/resistenza compresi tra 36 e 37. Al contrario, il modello che cercava schemi locali ha faticato significativamente, trovando design molto meno efficienti. Il modello che analizzava le onde globali era stabile ma sceglieva costantemente design che non erano buoni come quelli degli altri.

Forse il risultato più importante è stato che le prestazioni di questi modelli di IA non erano coerenti. Quando il ricercatore ha eseguito lo stesso processo di ottimizzazione più volte con condizioni di partenza leggermente diverse, i design finali variavano. La rete neurale di operatore profondo e quella informata dalla fisica hanno prodotto vincitori diversi a seconda dell'esecuzione, mentre il modello a schemi locali era instabile sia nelle sue previsioni che nelle sue scelte di design. Inoltre, lo studio ha evidenziato un limite nascosto nel processo di verifica stesso. Anche quando l'IA trovava un ottimo design, il controllo finale tramite la simulazione ad alta precisione mostrava che i risultati erano sensibili alla risoluzione della griglia del computer. La forza di resistenza, in particolare, cambiava fino al 26 percento quando la griglia della simulazione veniva resa più fine, suggerendo che anche la "verità" utilizzata per verificare l'IA ha le proprie incertezze.

Questo lavoro dimostra che il percorso dalla buona previsione al buon design non è lineare. Un modello può essere eccellente nel indovinare la pressione in ogni punto di un'ala, ma può comunque fallire nel guidare un ingegnere verso la forma ottimale. Lo studio conclude che il campo dell'apprendimento automatico scientifico deve andare oltre i semplici parametri di errore. Per colmare davvero il divario tra intelligenza artificiale e ingegneria, questi strumenti devono essere valutati sulla qualità dei design che producono e sulla robustezza di tali design sotto diverse condizioni. La migliore IA non è necessariamente quella che disegna la mappa più accurata, ma quella che conduce in modo affidabile alla destinazione migliore.