Enhanced Deep Q-Learning for 2D Self-Driving Cars: Implementation and Evaluation on a Custom Track Environment

Questo progetto presenta l'implementazione e la valutazione di un Deep Q-Learning (DQN) potenziato per un'auto a guida autonoma in un ambiente 2D personalizzato, dimostrando che una versione modificata con selezione prioritaria delle azioni ottiene un reward medio circa il 60% superiore rispetto al DQN originale.

L'essenziale

🚗 Il "Cucciolo Digitale" che Impara a Guidare da Solo

Immagina di voler insegnare a un cucciolo di cane a fare i bisogni nel posto giusto. Non gli dici "fai così", giusto? Gli dai un biscottino quando lo fa bene e un "no" secco quando sbaglia. Dopo un po', il cane capisce la logica: biscottino = bravo, no = male.

Questo è esattamente ciò che hanno fatto Sagar e Bidhya, due ricercatori dell'Università di Memphis, con una macchina virtuale.

1. La Scena: Una Corsa in un Videogioco

Hanno creato un piccolo mondo digitale usando un programma chiamato Pygame. Immagina una mappa disegnata a mano che assomiglia ai dintorni della loro università. Al centro c'è una macchinina digitale.

• I Sensori: La macchina non ha occhi umani, ma ha 7 "antenne" (sensori) che spuntano dalla parte anteriore, come le antenne di un insetto. Queste antenne misurano quanto sono lontane dai muri o dagli ostacoli.
• Il Compito: La macchina deve guidare su un percorso senza sbattere. Non può accelerare o frenare (va a velocità costante), può solo girare a sinistra, girare a destra o andare dritta.

2. Il Metodo: "Prova ed Errore" (Reinforcement Learning)

Qui entra in gioco l'intelligenza artificiale. Invece di programmare la macchina con regole rigide (es: "se vedi un muro a sinistra, gira a destra"), hanno lasciato che la macchina imparasse da sola provando milioni di volte.

• Premio: Se la macchina guida senza sbattere, guadagna dei "punti" (biscottini virtuali).
• Punizione: Se sbatte contro un muro, perde molti punti e la partita finisce.

3. I Tre "Allenatori" (Le Intelligenze Artificiali)

I ricercatori hanno testato tre metodi diversi per vedere quale fosse il migliore:

• Il "Neural Network" Classico (Il Principiante): È come un bambino che impara guardando e copiando. Funziona, ma ci mette un po' di tempo a capire le cose e a volte si confonde.
• Il "DQN" (Il Studente di Matematica): Questo è un algoritmo più avanzato (Deep Q-Learning). È come uno studente che tiene un quaderno di appunti su ogni situazione che ha vissuto. Cerca di calcolare quale mossa porterà al massimo punteggio in futuro. Tuttavia, nella versione originale, a volte si bloccava o faceva scelte strane, come se fosse troppo timido o troppo avventato.
• Il "DQN Modificato" (Il Genio con un Trucco): Questo è il vero protagonista del paper! Hanno preso lo studente di matematica (DQN) e gli hanno dato un aiuto extra.
  • L'Analogia: Immagina che il computer stia pensando: "Devo girare a sinistra?". Il trucco aggiunto è: "Ehi, aspetta! Se la tua antenna sinistra vede un muro molto vicino, forzalo a girare a sinistra immediatamente!".
  • In pratica, hanno aggiunto una regola di "priorità": se un sensore vede un pericolo imminente, la macchina dà priorità a quella mossa, rendendo la guida molto più sicura e veloce.

4. I Risultati: Chi ha Vinto?

Hanno fatto correre le macchine per 1000 gare (episodi) su un computer potente.

• Il DQN originale ha fatto fatica, ottenendo una media di 25 punti.
• Il Neural Network classico ha fatto un po' meglio (23 punti, ma ci ha messo più tempo).
• Il DQN Modificato (con il trucco) è stato il campione indiscusso: ha raggiunto una media di 40 punti.

Cosa significa in parole povere?
La macchina con il "trucco" è stata circa il 60% più brava della versione normale e il 50% più brava del metodo classico. È riuscita a fare il giro completo del percorso senza impazzire, mentre le altre faticavano.

5. Perché è Importante?

Guidare una macchina vera è pericoloso e costoso (immagina di farla sbattere migliaia di volte per farle imparare le curve!). Usare un simulatore digitale permette di:

1. Risparmiare soldi e tempo.
2. Addestrare l'IA in sicurezza.
3. Capire come funzionano le decisioni (non è magia, è matematica e premi/punizioni).

In Conclusione

Questo studio ci dice che l'intelligenza artificiale può imparare a guidare, ma a volte ha bisogno di un piccolo "aiuto umano" (come la priorità sui sensori) per diventare davvero brava. È come se avessimo insegnato a un robot a guidare non dicendogli esattamente cosa fare, ma insegnandogli a ascoltare i suoi sensi e a reagire subito ai pericoli, rendendolo un pilota molto più sicuro.

Il futuro? Potrebbero usare questi metodi per simulare il traffico reale di intere città, come quella di Memphis, per rendere le nostre strade più sicure domani.

Sommario tecnico

Titolo: Deep Q-Learning Potenziato per Auto a Guida Autonoma 2D: Implementazione e Valutazione su un Ambiente di Percorso Personalizzato

1. Problema e Motivazione

Il lavoro affronta la sfida di addestrare agenti di intelligenza artificiale per la guida autonoma in ambienti dinamici e imprevedibili. L'addestramento di veicoli reali è costoso in termini di tempo e pericoloso a causa del rischio di incidenti. Inoltre, l'apprendimento supervisionato richiederebbe enormi quantità di dati reali, spesso non disponibili.
L'obiettivo specifico della ricerca è implementare e ottimizzare una rete Deep Q-Learning (DQN) per un'auto a guida autonoma in un ambiente simulato 2D. Il problema centrale risiede nella difficoltà delle reti DQN standard di navigare efficacemente su percorsi complessi (come una mappa personalizzata dell'Università del Memphis) senza crashare, specialmente quando si tratta di gestire spazi di stato vasti e di prendere decisioni di sterzata precise.

2. Metodologia

Ambiente di Simulazione:

• Piattaforma: L'ambiente è stato sviluppato utilizzando la libreria Python Pygame.
• Mappa: È stata creata una mappa personalizzata che riproduce l'area intorno all'Università del Memphis. Le collisioni vengono rilevate tramite sovrapposizione di sprite (l'auto contro gli ostacoli/strada).
• Sensori: L'auto è equipaggiata con 7 sensori posizionati frontalmente, distanziati di 20 gradi l'uno dall'altro. Questi sensori misurano la distanza tra il veicolo e gli ostacoli. I valori di distanza vengono normalizzati (divisi per un massimo di 1000) per formare lo stato di osservazione.
• Azioni: Lo spazio delle azioni è discreto e composto da tre mosse:
  1. Sterzare a sinistra.
  2. Sterzare a destra.
  3. Non fare nulla (procedere dritto).
     Nota: La velocità è mantenuta costante; non sono presenti controlli di accelerazione o frenata per semplificare lo spazio delle azioni.

Algoritmi di Apprendimento:

• DQN Standard: Implementato con TensorFlow (modello sequenziale). Utilizza un Replay Buffer per memorizzare le esperienze, una Target Network per stabilizzare l'addestramento e una strategia $\epsilon$-greedy per l'esplorazione. La rete neurale ha 3 strati densi (input 7 sensori, output 3 azioni).
• DQN Modificato (Proposta Chiave): Gli autori hanno introdotto un meccanismo di selezione delle azioni basato sulla priorità. Durante la fase di sfruttamento (exploitation), l'output della rete viene modificato in base ai dati dei sensori:
  • Se il sensore sinistro rileva un ostacolo più vicino, si dà priorità allo sterzo a sinistra.
  • Se il sensore destro rileva un ostacolo più vicino, si dà priorità allo sterzo a destra.
  • Questo approccio ibrido combina l'apprendimento profondo con una logica euristica diretta per migliorare la reattività immediata.

Funzione di Ricompensa:

• +5 punti: Se l'auto non collide dopo un'azione.
• -20 punti: Se l'auto collide con un ostacolo.
• L'obiettivo è massimizzare la ricompensa cumulativa (score) durante l'episodio.

3. Contributi Chiave

1. Ambiente Personalizzato: Sviluppo di un simulatore 2D basato su Pygame che utilizza una mappa reale (University of Memphis) come percorso di addestramento, con sensori virtuali basati sulla distanza.
2. Ibridazione Algoritmica: Introduzione di un meccanismo di selezione delle azioni prioritaria integrato nel DQN. Invece di affidarsi ciecamente all'output della rete per ogni passo, il sistema sovrascrive o pondera la decisione basandosi sui dati grezzi dei sensori laterali per prevenire collisioni imminenti.
3. Valutazione Comparativa: Confronto diretto tra tre approcci:
   • DQN Originale.
   • Rete Neurale "Vanilla" (senza meccanismi DQN completi come replay buffer o target network).
   • DQN Modificato (con priorità).

4. Risultati Sperimentali

L'addestramento è stato condotto su 1000 episodi utilizzando hardware diverso (CPU e GPU). I risultati mostrano una netta superiorità dell'approccio modificato:

• Ricompensa Media per Episodio:
  • DQN Originale: ~25 punti. L'agente faticava a completare il tracciato e tendeva a crashare.
  • Rete Neurale Vanilla: ~23 punti. Performance simile al DQN base, ma con tempi di apprendimento più lunghi.
  • DQN Modificato: ~40 punti. Un miglioramento del 60% rispetto al DQN originale e del 50% rispetto alla rete neurale vanilla.
• Capacità di Navigazione: Solo il DQN modificato è riuscito a completare un giro completo del tracciato in modo stabile.
• Tempi di Addestramento:
  • L'uso della GPU ha ridotto drasticamente il tempo di addestramento (da 12 ore su CPU a **4 ore** su GPU per 1000 episodi).
  • Il DQN modificato ha raggiunto la convergenza in tempi ragionevoli grazie alla logica di priorità che riduce la casualità nelle decisioni critiche.

5. Significato e Conclusioni

Il paper dimostra che, in ambienti di guida simulati 2D, l'integrazione di logiche euristiche semplici (basate sui dati dei sensori) all'interno di un framework di Deep Reinforcement Learning può superare le limitazioni delle reti DQN pure.

• Significato Tecnico: La modifica proposta risolve il problema della "greediness" (avidità) e della scarsa reattività del DQN standard in situazioni di emergenza (curve strette o ostacoli imminenti), permettendo all'agente di imparare una politica di guida più sicura ed efficiente.
• Implicazioni Future: Gli autori suggeriscono che l'approccio può essere esteso a scenari con più veicoli, all'integrazione con framework di simulazione del traffico come SUMO (che è stato menzionato ma non completamente utilizzato a causa di vincoli temporali), e all'ottimizzazione degli iperparametri per ambienti 3D o reali.

In sintesi, la ricerca valida l'efficacia di un approccio ibrido per la guida autonoma simulata, dove la combinazione di apprendimento profondo e regole di priorità basate sui sensori porta a performance significativamente superiori rispetto all'uso esclusivo di algoritmi standard.