Resumo Técnico: OracleTSC

Declaração do Problema

Sistemas de Controle de Semáforos (TSC) exigem tomada de decisão transparente para conquistar a confiança pública, contudo, os métodos tradicionais de Aprendizado por Reforço (RL) funcionam como "caixas pretas". Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam um caminho para a interpretabilidade por meio do raciocínio em linguagem natural, aplicá-los ao TSC via ajuste fino por reforço enfrenta obstáculos significativos. Especificamente, o TSC é um problema de horizonte longo caracterizado por:

1. Feedback Esparsos e Atrasados: O impacto de uma mudança de sinal frequentemente se manifesta apenas após muitos passos de tempo, tornando difícil a atribuição de crédito.
2. Sinais de Recompensa Fracos: A maioria das mudanças de fase viáveis produz apenas melhorias marginais nas métricas de congestionamento, resultando em gradientes ruidosos que falham em orientar a otimização da política de forma eficaz.
3. Deriva de Raciocínio: Quando as políticas de LLM estão incertas, suas explicações geradas e escolhas de fase variam amplamente entre respostas para o mesmo estado, injetando aleatoriedade no loop de controle e causando instabilidade de desempenho.

Abordagens existentes que ajustam finamente LLMs para TSC frequentemente sofrem com instabilidade no treinamento e melhorias limitadas em relação a baselines pré-treinadas, em grande parte porque o Otimização de Política Proximal (PPO) padrão luta para lidar com essas dinâmicas de horizonte longo e recompensas fracas.

Metodologia: OracleTSC

Os autores propõem o OracleTSC, um framework projetado para estabilizar o ajuste fino por reforço para TSC baseado em LLM, abordando sinais fracos e instabilidade de raciocínio. A abordagem formula o TSC como um Processo de Decisão de Markov (MDP) onde estados e ações são representados como texto em linguagem natural, permitindo que o LLM gere tanto uma fase de sinal de trânsito quanto uma explicação de Cadeia de Pensamento (CoT).

O cerne do método envolve dois mecanismos inovadores integrados ao objetivo de treinamento PPO:

1. Mecanismo de Obstáculo de Recompensa (RHM)

Para combater sinais de recompensa fracos, o OracleTSC introduz um Obstáculo de Recompensa. Em vez de usar o feedback ambiental bruto (por exemplo, redução no comprimento da fila) diretamente, o método subtrai um limiar calibrado ($HR$) da recompensa.

• Mecanismo: $R_{total} = R_{env} - HR$.
• Efeito: Ações que resultam em melhorias menores que o obstáculo são penalizadas (recebendo recompensa negativa ou zero), enquanto apenas ações de alto impacto recebem reforço positivo. Isso filtra atualizações de baixa qualidade e força a política a focar em intervenções que reduzem significativamente o congestionamento, atuando efetivamente como uma linha de base constante para reduzir a variância do gradiente nos estágios iniciais do treinamento.

2. Regularização de Incerteza via Entropia Semântica Discreta com Softmax Escalonado por Temperatura

Para abordar a deriva de raciocínio e a tomada de decisão inconsistente, o framework introduz um termo de regularização baseado em entropia semântica.

• Mecanismo: O modelo gera $G$ respostas candidatas para um estado dado. Essas respostas são agrupadas pela fase de trânsito extraída (ignorando variações linguísticas). Uma distribuição de probabilidade sobre essas fases é computada usando um Softmax escalonado por temperatura.
• Termo de Recompensa: Uma penalidade é aplicada se a distribuição tiver alta entropia (ou seja, o modelo estiver incerto sobre a fase). A recompensa é definida como $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$, onde $p_{chosen}$ é a probabilidade da fase selecionada.
• Efeito: Isso incentiva o modelo a produzir escolhas de fase consistentes em múltiplas tentativas de amostragem, estabilizando o processo de raciocínio e reduzindo a variância na seleção de ações.

O objetivo final combina o objetivo substituto truncado do PPO padrão com essas recompensas modificadas, otimizando tanto a rede de política quanto uma rede de valor.

Principais Contribuições

1. Identificação de Modos de Falha: O artigo identifica empiricamente que a supressão insuficiente de ações subótimas (devido a recompensas fracas) e a deriva de raciocínio (devido à incerteza de saída) são causas primárias de instabilidade no TSC baseado em LLM.
2. Mecanismo de Obstáculo de Recompensa: Uma penalidade simples, porém eficaz, que impõe um limiar de desempenho explícito, amplificando sinais de aprendizado de ações de alto impacto e suprimindo atualizações de baixa qualidade.
3. Regularização de Entropia Semântica: Uma abordagem fundamentada para quantificar e mitigar incerteza no nível da decisão (em vez do nível do token) usando softmax escalonado por temperatura, o que estabiliza o raciocínio de horizonte longo.
4. Demonstração de Robustez: O framework permite que modelos compactos (por exemplo, LLaMA3-8B, Qwen3-0.6B) alcancem ganhos substanciais de desempenho enquanto preservam a interpretabilidade por meio de explicações em linguagem natural.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark LibSignal usando duas topologias de interseção distintas: CityFlow1×1 (Hangzhou, 8 fases) e Cologne1 (Alemanha, 4 fases).

• Ganhos de Desempenho: O OracleTSC superou significativamente as baselines de LLM pré-treinados e métodos de RL não baseados em LLM em várias métricas.
  • No CityFlow1×1, o modelo LLaMA3-8B ajustado finamente alcançou uma redução de 75% no tempo de viagem e uma diminuição de 67% nos comprimentos das filas em comparação com a baseline pré-treinada.
  • No Cologne1, o método reduziu os comprimentos das filas em 39–50% e os tempos de viagem em 29–85%, alcançando um fluxo comparável aos controladores de RL de última geração não explicáveis (por exemplo, PressLight, IDQN).
• Generalização entre Interseções: Uma política treinada em uma topologia de interseção transferiu-se efetivamente para uma interseção estruturalmente distinta sem ajuste fino adicional. Por exemplo, um modelo treinado no Cologne1 reduziu o tempo de viagem em 13% quando testado no CityFlow1×1, e vice-versa.
• Estudos de Ablação:
  • O uso da recompensa ambiental isolada produziu ganhos marginais.
  • Adicionar apenas o Obstáculo de Recompensa melhorou significativamente o desempenho ao filtrar sinais fracos.
  • Adicionar apenas a Regularização de Incerteza melhorou a estabilidade e reduziu os comprimentos das filas.
  • Aplicação Conjunta: A combinação de ambos os mecanismos produziu os melhores resultados, confirmando sua natureza complementar.
• Análise Qualitativa: Após o ajuste fino, o raciocínio CoT do LLM tornou-se estruturado, conciso e livre das autocontradições e identificações incorretas de fase observadas em modelos pré-treinados.

Significado e Alegações

O artigo alega que o OracleTSC fornece uma nova perspectiva para melhorar a eficácia do ajuste fino por reforço em tarefas de TSC de horizonte longo. Seu significado reside em:

• Estabilizar o Controle por LLM: Demonstrar que a modelagem de recompensa direcionada (obstáculos) e a regularização de incerteza podem superar a instabilidade inerente da aplicação de PPO a LLMs em ambientes de recompensa esparsa.
• Conectar Interpretabilidade e Desempenho: Alcançar desempenho competitivo com controladores de RL especializados e de caixa preta, mantendo a capacidade única dos LLMs de fornecer justificativas em linguagem natural para decisões.
• Escalabilidade: Mostrar que esses mecanismos funcionam em diferentes escalas de modelos (de 0,6B a 8B parâmetros) e generalizam entre diferentes topologias de interseção, sugerindo um caminho para sistemas de transporte inteligentes escaláveis, reutilizáveis e interpretáveis.

Os autores observam modestamente que seu objetivo não é alegar superioridade sobre todos os algoritmos de RL otimizados existentes, mas melhorar a confiabilidade e a transparência dos controladores baseados em LLM. Eles reconhecem limitações, como a necessidade de ajuste manual da taxa de obstáculo e o custo computacional da geração de múltiplas amostras para estimativa de entropia.