C$^2$T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic--Vehicle Coordination

Resumo Técnico: C2T

1. Problema Identificado

O controle de tráfego urbano de última geração (SOTA) utiliza cada vez mais Aprendizado por Reforço Multi-Agente (MARL) para coordenar Controladores de Semáforos (TLCs) e Veículos Autônomos Conectados (CAVs). No entanto, o desempenho desses sistemas é limitado por recompensas manuais e miopes (como "pressão" no cruzamento ou comprimento de fila).

• Limitações Atuais: Essas recompensas focam em ganhos de curto prazo e eficiência local, ignorando objetivos de alto nível e centrados no ser humano, como segurança, estabilidade do fluxo e conforto.
• Consequências: Quando cada cruzamento otimiza apenas seu próprio objetivo local, a coordenação em nível de rede falha, gerando ondas de congestionamento, fluxos instáveis, frenagens bruscas e mudanças de fase oscilatórias, mesmo que as métricas de eficiência pareçam boas no papel.
• O Desafio: É necessário um conceito de "qualidade de tráfego" que reflita o julgamento humano e antecipe efeitos de longo prazo, sem depender de chamadas online a modelos de linguagem durante o treinamento (o que seria lento e caro).

2. Metodologia: O Framework C2T

O C2T (Captioning-Structure and LLM-Aligned Common-Sense Reward Learning) é um framework inovador que aprende uma função de recompensa intrínseca alinhada ao senso comum a partir da dinâmica tráfego-veículo, utilizando um Grande Modelo de Linguagem (LLM) como supervisor offline.

O processo ocorre em três etapas principais:

Etapa 1: Legendagem Estruturada e Pares de Preferência

• Legendagem Determinística: Em vez de texto livre, o estado do simulador (observações do semáforo) é convertido em uma "legenda" estruturada e com unidades explícitas (schema-constrained). A legenda inclui: fase do sinal, filas, pressão, atraso médio, throughput, percentis de Tempo até Colisão (TTC), contagem de frenagens bruscas e kinemática do veículo mais próximo.
• Amostragem de Pares: O sistema gera pares de legendas de estados diferentes, priorizando contrastes de congestionamento e segurança.
• Rótulos do LLM: Um LLM (offline) compara os pares de legendas e decide qual estado reflete melhor um tráfego "bom". Apenas decisões decisivas são mantidas para criar um conjunto de dados de preferências.

Etapa 2: Aprendizado de Recompensa Intrínseca

• Modelo de Pontuação: Um modelo leve (scorer) é treinado para prever as preferências do LLM usando uma função de perda baseada no modelo Bradley-Terry.
• Arquitetura: O modelo recebe os tokens da legenda e dados numéricos auxiliares para produzir uma pontuação de qualidade escalar ($r_\phi$).
• Flexibilidade: O modelo pode ter "cabeças" (heads) específicas para focar em eficiência, segurança ou energia, dependendo do prompt usado no LLM durante a coleta de dados.

Etapa 3: Integração Assimétrica e Treinamento RL

• Mistura Assimétrica: A recompensa intrínseca aprendida é injetada apenas no objetivo dos Controladores de Semáforos (TLCs), enquanto os veículos continuam seguindo a dinâmica do ambiente (ou políticas externas). Isso evita não-estacionariedade excessiva.
• Máscara de Segurança: Um mecanismo de máscara de risco desativa a recompensa intrínseca se o estado for perigoso (ex: baixo TTC, frenagens bruscas, risco de luz vermelha).
• Normalização e Agendamento: As recompensas (externa, intrínseca e penalidade de segurança) são normalizadas por fluxo e suavemente limitadas (clipping) antes do cálculo da vantagem no PPO. O peso da recompensa intrínseca é agendado (warm-up) para que o agente primeiro satisfaça restrições básicas e depois absorva preferências de senso comum.
• Treinamento: Utiliza o algoritmo PPO (Proximal Policy Optimization) padrão, sem necessidade de chamadas ao LLM durante o treinamento online.

3. Contribuições Principais

1. Legendagem Estruturada para RL de Tráfego: Propõe um esquema determinístico e com unidades que torna a qualidade do estado comparável por LLMs e reproduzível entre execuções.
2. Aprendizado de Preferência Offline: Cria uma recompensa intrínseca leve treinada a partir de preferências decisivas de LLMs, eliminando a latência e o custo de chamadas online durante o treinamento do RL.
3. Integração Segura e Assimétrica: Introduz uma estratégia de mistura de recompensas que aplica o guia humano apenas aos semáforos, combinada com máscaras de risco e normalização, garantindo compatibilidade total com pipelines PPO existentes.
4. Evidência Empírica Robusta: Demonstra ganhos consistentes em benchmarks baseados em CityFlow (Jinan, Hangzhou, Nova York) e em cenários de estresse.

4. Resultados Experimentais

Os experimentos foram realizados em redes de tráfego reais (Jinan, Hangzhou, Nova York) e cenários sintéticos (demanda extrema e ciclos diurnos de 24h).

• Eficiência e Desempenho: O C2T superou significativamente fortes baselines de MARL (como MPLight, CoLight, AttendLight) e agentes baseados em LLMs (LLMLight).
  • Redução no Tempo Médio de Viagem (ATT) e no Tempo Médio de Espera (AWT).
  • Aumento no Throughput (fluxo de veículos).
• Segurança e Conforto:
  • Aumento nos percentis de TTC (Time-to-Collision), indicando maior distância de segurança.
  • Redução significativa em eventos de frenagem brusca (harsh braking).
• Generalização e Escalabilidade:
  • O modelo treinado em cidades menores (Jinan) generalizou bem para redes maiores (Nova York com 196 cruzamentos), onde outras baselines degradaram.
  • Transferência "zero-shot" para outras cidades foi eficaz, com melhorias adicionais usando poucos exemplos de preferência (few-shot).
• Estudos de Ablação:
  • A remoção da recompensa intrínseca fez o desempenho colapsar para o nível da baseline.
  • A remoção da máscara de segurança piorou drasticamente a segurança (TTC), embora a eficiência fosse mantida.
  • A normalização por fluxo e o agendamento (schedule) da recompensa foram cruciais para a estabilidade do treinamento.

5. Significado e Impacto

O trabalho C2T representa um avanço significativo na interseção entre IA Generativa (LLMs) e Controle de Tráfego Inteligente.

• Ponte entre Humano e Máquina: Traduz o julgamento humano complexo sobre "tráfego bom" (seguro, fluido, confortável) em uma função de recompensa matemática utilizável por agentes de RL.
• Viabilidade Prática: Ao realizar todo o aprendizado de preferência offline e usar um modelo leve, o framework torna-se viável para implantação em tempo real, evitando os gargalos de latência de usar LLMs diretamente no loop de controle.
• Flexibilidade: Permite ajustar o comportamento do sistema (foco em eficiência vs. segurança) apenas alterando o prompt do LLM na fase de coleta de dados, sem reescrever o código do controlador.

Em resumo, o C2T demonstra que é possível superar as limitações das recompensas manuais em sistemas de tráfego multi-agente, utilizando a "intuição" codificada em LLMs para guiar o aprendizado de políticas que são não apenas eficientes, mas também seguras e alinhadas com as expectativas humanas.