VLM-VPI: A Vision-Language Reasoning Framework for Improving Automated Vehicle-Pedestrian Interactions

Resumo Técnico: VLM-VPI – Um Framework de Raciocínio Visão-Linguagem para Melhorar Interações entre Veículos e Pedestres Automatizados

1. O Problema

Os sistemas de condução autónoma atuais enfrentam dificuldades críticas em interações com pedestres em cruzamentos urbanos. O problema central não é a falha de sensores (detecção), mas a má interpretação da intenção humana.

• Limitação Geométrica: A maioria dos sistemas baseia-se apenas em pistas cinemáticas (posição e velocidade). No entanto, a decisão de um pedestre de atravessar ou parar é um processo semântico e social que pode mudar instantaneamente sem aviso cinemático prévio.
• Incapacidade de Contextualização: Os sistemas atuais tratam todos os pedestres de forma uniforme, ignorando que grupos demográficos diferentes (crianças, adultos e idosos) possuem padrões de comportamento, previsibilidade e vulnerabilidades distintas.
• Consequências: Isso resulta em dois problemas principais: intervenções tardias (risco de colisão) ou frenagens desnecessárias (ineficiência no tráfego e interrupção do fluxo).

2. Metodologia (VLM-VPI)

O framework proposto, VLM-VPI (Vision–Language Model-based Vehicle–Pedestrian Interaction), introduz uma camada de raciocínio semântico entre a percepção e o controle, composta por três camadas principais:

1. Camada de Percepção Multimodal: Captura dados visuais (câmera RGB) e cinemáticos (trajetórias de posição e velocidade) do ambiente de simulação CARLA.
2. Camada de Raciocínio (Reasoning Layer): Utiliza modelos de linguagem de grande escala (LLMs) para processar a cena:
   • Qwen3-VL 8B: Atua como modelo de visão para converter imagens em descrições textuais estruturadas (postura, direção do olhar, idade aparente).
   • GPT-OSS 20B: Atua como o motor de raciocínio, utilizando uma técnica de aprendizado few-shot. O modelo recebe descrições visuais, logs cinemáticos em JSON e seis exemplos reais curados (do dataset PIE) para inferir a intenção (ceder ou não ceder a passagem) e a categoria demográfica.
3. Módulo de Controle de Segurança em Camadas (Tiered Safety Control): Implementa um controle de frenagem adaptativo à demografia. Se o pedestre for classificado como "não cedente", o veículo aplica níveis de desaceleração (de 0.2g a 1.0g) baseados em margens de segurança escalonadas por idade ($\alpha_{demo}$):
   • Crianças: Margem de 1.4x (maior proteção devido à imprevisibilidade).
   • Adultos: Margem de 1.0x (base).
   • Idosos: Margem de 1.2x (maior proteção devido à mobilidade reduzida).

3. Principais Contribuições

• Mudança de Paradigma: Transição da previsão puramente geométrica/cinemática para o raciocínio semântico e comportamental em espaço social.
• Metodologia Few-Shot para Segurança: Demonstração de que o uso de poucos exemplos de comportamento humano real é mais eficaz para a segurança do que grandes volumes de dados de simulação puramente sintéticos.
• Controle Demograficamente Adaptativo: Introdução de um framework de controle que ajusta as margens de risco com base na vulnerabilidade do pedestre.

4. Resultados

Os testes foram realizados no simulador CARLA e validados com dados do mundo real (dataset PIE):

• Precisão de Intenção: O VLM-VPI alcançou 92,3% de precisão na classificação de intenção, superando modelos de aprendizado supervisionado (como LSTM e CAPformer) e modelos zero-shot.
• Segurança (Redução de Conflitos): O controle adaptativo reduziu os conflitos em 60% para crianças e 54,5% para idosos em comparação ao controle uniforme. O tempo médio de colisão (TTC) melhorou significativamente.
• Eficiência de Tráfego: O sistema reduziu a taxa de alarmes falsos (frenagens desnecessárias) de 7,4% para 2,8%, permitindo que o veículo mantenha a velocidade em 97,2% dos casos de pedestres que pretendiam ceder a passagem.
• Transferibilidade (Sim-to-Real): O modelo manteve 87,5% de precisão em cenários do mundo real, provando que o raciocínio baseado em linguagem é robusto o suficiente para transitar da simulação para a realidade.

5. Significância

Este trabalho é significativo porque aborda a "caixa preta" da tomada de decisão em veículos autónomos. Ao utilizar modelos de linguagem, o sistema não apenas decide o que fazer, mas fornece uma cadeia de raciocínio interpretável (análise visual + análise cinemática + decisão + razão). Isso é fundamental para a certificação regulatória e para a aceitação social da condução autónoma, garantindo que os veículos interajam de forma segura, eficiente e socialmente consciente com os seres humanos, especialmente os mais vulneráveis.