🤖 machine learning

DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

O artigo apresenta o DGLight, um novo framework que ajusta finamente um modelo de linguagem grande pré-treinado para controle de sinais de trânsito, aproveitando um crítico de Rede Q Profunda para orientar a Otimização de Política Relativa em Grupo, resultando em um sistema que alcança desempenho de última geração entre controladores baseados em LLMs, ao mesmo tempo que fornece traços de raciocínio interpretáveis.

Autores originais: Chenbo Yu

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenbo Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma interseção urbana movimentada como uma pista de dança caótica. Os carros são dançarinos tentando entrar e sair, mas se todos tentarem dançar ao mesmo tempo, esbarram uns nos outros, criando um engarrafamento. O "Controlador de Sinal de Trânsito" é o DJ que decide quem pode dançar (seguir) e quem tem que esperar (parar).

Por muito tempo, DJs usaram dois métodos principais:

O DJ Metrônomo (Tempo Fixo): Eles tocam o mesmo ritmo a cada 30 segundos, independentemente de quantas pessoas estão na pista. É simples, mas se uma multidão enorme chegar, eles não conseguem se adaptar.
O DJ Humano Experiente (RL Tradicional): Este DJ observa a multidão e aprende com os erros. Ele fica melhor com o tempo, mas frequentemente é uma "caixa preta". Você não pode perguntar a ele por que escolheu um ritmo específico, e se você o transferir para uma boate diferente (uma cidade diferente), ele pode ficar confuso porque aprendeu a vibe específica da primeira boate.

Apresentando DGLight: O "Estagiário Inteligente" com um "Treinador Veterano"

Este artigo apresenta o DGLight, uma nova maneira de treinar um Controlador de Sinal de Trânsito usando um Modelo de Linguagem de Grande Porte (LLM) — basicamente, uma IA superinteligente que é excelente em escrever e raciocinar.

Veja como o DGLight funciona, usando uma analogia simples:

1. O Estudante (O LLM)

Pense no LLM como um estagiário brilhante que consegue escrever um relatório detalhado explicando por que tomou uma decisão. "Vejo que a faixa leste está congestionada, então vou permitir que o tráfego do leste siga." Isso é ótimo porque, ao contrário do DJ "caixa preta", você pode ler as anotações do estagiário e entender sua lógica. No entanto, este estagiário é novo no trânsito; ele sabe escrever, mas não sabe dirigir uma cidade.

2. O Treinador (O Crítico DQN)

Para ensinar o estagiário, os pesquisadores contrataram um "Treinador Veterano". Este treinador é uma IA tradicional (uma Rede Q Profunda baseada em um método chamado CoLight) que passou anos observando o trânsito em uma cidade específica (Hangzhou). O treinador é especialista em saber exatamente qual fase do sinal reduzirá o congestionamento agora.

3. O Campo de Treinamento (O Processo de Duas Etapas)

A mágica do DGLight acontece em duas etapas:

Etapa 1: O Treinador Obtém a Certificação. Primeiro, o Treinador Veterano é treinado com dados reais de tráfego até se tornar um especialista em prever qual escolha de sinal é a melhor.
Etapa 2: O Estagiário Aprende com o Treinador. Agora, o Estagiário (LLM) começa a praticar.
- O Estagiário observa uma situação de tráfego e escreve um plano: "Acho que devemos permitir que o tráfego do norte siga porque..."
- Em vez de esperar para ver se o tráfego realmente se desobstrui (o que leva muito tempo e torna o aprendizado lento), o Treinador imediatamente analisa o plano do Estagiário e dá uma pontuação. "Bom plano, +10 pontos!" ou "Mau plano, -5 pontos."
- O Estagiário usa essas pontuações para aprender. Como o Treinador dá uma pontuação para cada movimento possível (não apenas aquele que aconteceu), o Estagiário aprende muito mais rápido e profundamente.

Por que isso é especial?

1. Fala a Língua Humana (Interpretabilidade)
A maioria das IAs de tráfego apenas gera um número (por exemplo, "Mudar para a Fase 2"). O DGLight gera uma frase: "Estou mudando para a Fase 2 porque a faixa leste tem uma fila longa". É como ter um controlador de tráfego que explica seu raciocínio em inglês simples.

2. É um Generalista Inteligente (Transferibilidade)
Geralmente, se você treina uma IA de tráfego na Cidade A, ela falha na Cidade B. Mas, como o DGLight aprende a lógica do trânsito (como raciocinar sobre filas e atrasos) em vez de apenas memorizar as ruas da Cidade A, ele funciona surpreendentemente bem em cidades completamente novas (como Jinan) que o Treinador nunca viu. É como um estagiário que aprende os princípios do controle de multidões, para que possa gerenciar uma festa em uma nova cidade sem precisar reaprender tudo.

3. É Melhor que a Velha Guarda
O artigo testou o DGLight contra os antigos métodos de "Metrônomo" e os métodos de "DJ Humano Experiente".

Resultado: O DGLight foi o melhor entre todos os métodos de IA que usam linguagem.
Resultado: Foi tão bom quanto, e às vezes melhor que, a IA de tráfego tradicional mais forte, mas com o bônus adicional de poder explicar suas decisões.

O que eles não fizeram?

O artigo é muito cuidadoso ao dizer o que isto não é.

Não é uma varinha mágica que resolve todo o trânsito para sempre.
Não está sendo testado no tráfego ao vivo do mundo real ainda (apenas em simulações).
O "Treinador" foi treinado em uma cidade, mas o "Estagiário" aprendeu a generalizar. O artigo observa que, embora o Estagiário seja bom em novas cidades, não é perfeito, e o sistema ainda depende do treinamento inicial do Treinador.

A Conclusão

O DGLight é um sistema que ensina uma IA inteligente e falante a controlar semáforos fazendo com que ela pratique sob a supervisão de um especialista tradicional em tráfego. O resultado é um controlador tão inteligente quanto os especialistas, mas que também pode dizer a você por que tomou suas escolhas, tornando-o uma ferramenta mais confiável e adaptável para gerenciar o tráfego urbano.

1. Formulação do Problema

O Controle de Sinais de Tráfego (TSC) é crítico para reduzir o congestionamento urbano. Enquanto métodos tradicionais (Tempo Fixo, Pressão Máxima) carecem de adaptabilidade e métodos de Aprendizado por Reforço (RL) (por exemplo, CoLight, MPLight) lutam com generalização e interpretabilidade, os Modelos de Linguagem Grandes (LLMs) oferecem uma alternativa promissora devido às suas capacidades de raciocínio e habilidade de gerar texto interpretável.

No entanto, aplicar LLMs ao TSC enfrenta dois desafios principais:

Adaptação de Domínio: LLMs padrão carecem de conhecimento específico sobre dinâmicas de tráfego, levando a decisões subótimas.
Esparsidade de Recompensa e Interpretabilidade: O RL tradicional depende de recompensas ambientais esparsas e cumulativas (por exemplo, redução total de atraso ao longo de um episódio), que são difíceis para LLMs otimizar diretamente. Além disso, o ajuste fino de LLMs de ponta a ponta frequentemente carece da supervisão densa e específica do estado necessária para aprender políticas de tráfego complexas.

O artigo propõe o DGLight, um framework que preenche essas lacunas utilizando um crítico baseado em valor para guiar o ajuste fino de um LLM, permitindo que ele aprenda a partir de valores de ação densos e conscientes de tráfego, enquanto produz raciocínio interpretável.

2. Metodologia: O Framework DGLight

O DGLight emprega um pipeline de aprendizado por reforço em duas etapas que combina um crítico Deep Q-Network (DQN) com a Otimização de Política Relativa de Grupo (GRPO).

Etapa 1: Treinamento do Crítico DQN Baseado em CoLight

Objetivo: Treinar um estimador de valor para fornecer valores de ação densos e conscientes de tráfego para decisões de fase de sinal.
Arquitetura: Baseada no CoLight, um modelo de atenção em grafo que captura a cooperação em nível de rede entre interseções.
Processo:
- O crítico observa estados de tráfego estruturados (comprimentos de fila de faixa, atrasos).
- Ele produz um vetor de valor-Q ( $Q(s, a)$ ) para todas as fases de sinal admissíveis em cada interseção.
- É treinado usando minimização padrão do erro de Bellman com replay de experiência.
Papel: Este crítico atua como um "professor congelado" que avalia a qualidade de qualquer ação de sinal potencial com base em contextos de tráfego espaciais e temporais complexos, fornecendo um sinal mais rico do que recompensas ambientais brutas.

Etapa 2: Ajuste Fino de LLM com GRPO

Entrada: O LLM (baseado em Llama3-8b) recebe um prompt textual resumindo o estado do tráfego, a descrição da tarefa e as fases de sinal disponíveis.
Amostragem: Para cada prompt, a política amostra um grupo de $k$ respostas candidatas (trilhas de raciocínio + decisões de sinal).
Análise e Pontuação:
- Cada resposta é analisada para extrair a fase de sinal proposta.
- O crítico DQN congelado pontua cada ação candidata usando seus valores-Q pré-treinados ( $Q(s, a)$ ).
- Ações inválidas recebem uma recompensa fixa de fallback.
Otimização (GRPO):
- Em vez de usar um modelo de valor separado (como no PPO), o DGLight utiliza a Otimização de Política Relativa de Grupo (GRPO).
- Vantagens são computadas comparando as pontuações do crítico das $k$ respostas amostradas dentro do mesmo grupo.
- A política é atualizada para maximizar a vantagem relativa, transferindo efetivamente o conhecimento de tráfego do crítico para o processo de raciocínio e tomada de decisão do LLM.

3. Contribuições Principais

Framework Unificado: Propõe o DGLight, o primeiro framework a unificar um crítico de tráfego baseado em valor (CoLight-DQN) com ajuste fino de LLM via GRPO. Permite que LLMs aprendam a partir de valores de ação densos por estado, em vez de recompensas cumulativas esparsas.
Política Interpretável: O sistema treina o LLM para produzir tanto uma decisão de sinal válida quanto uma trilha de raciocínio legível por humanos (por exemplo, analisando comprimentos de fila e tráfego de vizinhança), preenchendo a lacuna entre desempenho e explicabilidade.
Validação Empírica: Realiza experimentos abrangentes em benchmarks padrão (conjuntos de dados de Jinan e Hangzhou), demonstrando que o DGLight supera controladores baseados em LLM existentes e permanece competitivo com baselines de RL de última geração.
Transferibilidade: Mostra que o método generaliza bem para conjuntos de dados de cidades não vistos (por exemplo, treinando em Hangzhou-1 e testando em Jinan), sugerindo que o LLM aprende padrões de raciocínio de tráfego generalizáveis em vez de superajustar a dados de cidades específicas.

4. Resultados Experimentais

O estudo avaliou o DGLight contra:

Métodos Tradicionais: FixedTime, MaxPressure.
Baselines de RL: MPLight, CoLight, PressLight, etc.
Baselines de LLM: LightGPT, variantes JS-GRPO.

Principais Descobertas:

Desempenho: O DGLight alcançou o melhor desempenho geral entre todos os controladores baseados em LLM na maioria das métricas (Tempo Médio de Viagem, Comprimento Médio de Fila, Tempo Médio de Espera).
Comparação com RL: O DGLight permaneceu competitivo com fortes baselines de RL (como CoLight e Advanced-CoLight) e até os superou em certas métricas, apesar da complexidade adicional da geração de raciocínio.
Transferibilidade: O DGLight mostrou superioridade na transferência para cidades não vistas em comparação tanto com baselines de RL quanto com outros métodos de LLM, indicando generalização robusta.
Estudo de Ablação:
- A migração de um LLM base (Llama3-8b) para um modelo adaptado ao tráfego (LightGPT) produziu a maior melhoria.
- A adição do GRPO Guiado por Crítico forneceu ganhos significativos adicionais, confirmando o valor do sinal de recompensa denso.
Interpretabilidade: A análise qualitativa confirmou que as trilhas de raciocínio geradas eram logicamente consistentes com as fases de sinal escolhidas (por exemplo, priorizando faixas com as filas mais longas).

5. Significado e Trabalho Futuro

Significado:

Preenchendo a Lacuna: O DGLight demonstra com sucesso que LLMs podem ser efetivamente adaptados para tarefas de controle complexas como TSC sem sacrificar a interpretabilidade que os torna únicos.
Treinamento Eficiente: Ao usar um crítico congelado para gerar recompensas densas, o método evita a instabilidade de treinar LLMs com recompensas ambientais esparsas.
Aplicabilidade no Mundo Real: A interpretabilidade das decisões do modelo aborda uma barreira crítica para a adoção real de IA na gestão de tráfego, onde responsabilidade e explicabilidade são primordiais.

Direções Futuras:

Atribuição de Recompensa em Nível de Token: Refinar o sinal de recompensa para distinguir entre tokens de formatação e tokens críticos de raciocínio/decisão para melhorar a eficiência do treinamento.
Arquitetura Estilo MLLM: Ir além de estados serializados em texto para uma abordagem de Modelo de Linguagem Grande Multimodal (MLLM) com um codificador dedicado de situação de tráfego para capturar melhor relações espaciais e numéricas na rede viária.

Em conclusão, o DGLight representa um passo significativo para a frente na aplicação de IA Generativa à infraestrutura urbana, provando que LLMs podem aprender políticas de controle de alto desempenho e interpretáveis quando guiados por críticos robustos baseados em valor.