A Domain-Specific Language for LLM-Driven Trigger Generation in Multimodal Data Collection

Resumo Técnico: Geração de Gatilhos para Coleta de Dados Multimodais via DSL e LLMs

1. Problema e Motivação

Sistemas orientados a dados dependem criticamente da qualidade dos dados de treinamento. No entanto, as pipelines de coleta de dados atuais em veículos autônomos e robótica são frequentemente passivas e indiscriminadas.

• Custos e Ineficiência: O registro contínuo de fluxos de sensores multimodais (câmeras, LiDAR, telemetria) gera volumes massivos de dados, resultando em custos elevados de armazenamento e transmissão.
• Filtragem Post Hoc: A filtragem após a coleta introduz latência na tomada de decisão e deixa equipes downstream com a tarefa de curar grandes quantidades de amostras irrelevantes.
• Limitações das Abordagens Atuais: As estratégias existentes de captura seletiva dependem de:
  1. Código de baixo nível criado por especialistas, difícil de auditar e reutilizar.
  2. Múltiplos gatilhos independentes cuja execução paralela é ineficiente e cujas interações não são definidas.
  3. Sinais genéricos de anomalia, ignorando que a "relevância" é dependente do usuário e da tarefa específica (ex: robustez de percepção vs. avaliação de controle).

Há uma lacuna entre a intenção de alto nível dos stakeholders (ex: "coletar interações raras de pedestres na chuva") e a implementação técnica de gatilhos eficientes e modulares.

2. Metodologia Proposta

O artigo propõe um framework declarativo que transforma solicitações de dados em linguagem natural em programas de gatilho executáveis, utilizando uma Linguagem de Domínio Específico (DSL) e Modelos de Linguagem de Grande Escala (LLMs).

• Abordagem Híbrida (LLM + DSL):

  • O usuário descreve os requisitos de coleta em linguagem natural.
  • Um LLM (com suporte de Retrieval-Augmented Generation - RAG para acesso a documentação do sistema) traduz esses requisitos em uma estrutura intermediária (JSON) baseada na gramática formal da DSL.
  • A DSL define a lógica condicional de forma estruturada, garantindo que o código gerado seja verificável, composável e seguro para execução em dispositivos de borda (edge).

• Estrutura da DSL:

  • A linguagem utiliza uma gramática formal (definida em EBNF) baseada em Predicados (funções booleanas que avaliam condições em cenas ou estados do veículo) e Gatilhos (combinações lógicas de predicados usando AND, NOT, etc.).
  • Suporta lógica condicional sobre cenas (objetos, atributos espaciais) e estado do veículo (telemetria).

• Arquitetura de Execução no Veículo:
  O sistema roda em um ambiente ROS e é composto por três módulos principais:

  1. Data Manager: Gerencia o cache de dados, filtrando e pré-processando sinais de sensores para fornecer apenas o necessário aos gatilhos.
  2. Trigger Engine: Instâncias dedicadas que avaliam as condições lógicas definidas no JSON em tempo real. Elas operam apenas quando novos dados relevantes estão disponíveis.
  3. Trigger Manager: Orquestra a execução, monitora o uso de recursos e ativa a gravação de dados quando a lógica do gatilho é satisfeita.

3. Contribuições Principais

1. Uma DSL para Gatilhos Multimodais: Uma linguagem formal que permite a definição de gatilhos com lógica condicional e composição, habilitando verificação formal e execução eficiente em dispositivos.
2. Framework de Integração com LLM: Um sistema que utiliza LLMs para traduzir solicitações de usuários em programas de captura auditáveis e reutilizáveis, reduzindo a barreira de entrada para engenheiros de validação e analistas de dados que não possuem expertise profunda em código de baixo nível.
3. Avaliação Empírica: Demonstração prática em plataformas veiculares e robóticas, mostrando melhorias na eficiência de gatilhos, redução de captura redundante e qualidade de dados aprimorada.

4. Resultados da Avaliação

O framework foi comparado com duas abordagens alternativas: geração de código puro (plain-code) e um modelo de linguagem visual (VLM).

• Consistência de Geração:
  • A abordagem baseada em DSL demonstrou consistência significativamente superior na geração de gatilhos. Métricas de similaridade (Levenshtein, Cosseno, SequenceMatcher) mostraram que a DSL reduz a variabilidade sintática e semântica gerada pelo LLM, ao contrário da geração de código livre, que tende a produzir variações estruturais grandes.
• Desempenho de Detecção:
  • O desempenho de detecção (Precisão, Recall, F1-Score) foi comparável entre a abordagem DSL, a geração de código e o VLM. A DSL não sacrificou a capacidade de detectar eventos relevantes em troca de sua estrutura.
• Desempenho de Tempo de Execução (Latência):
  • A abordagem DSL obteve o menor tempo de execução (latência). A estrutura otimizada e a integração com o backbone do sistema permitiram uma avaliação mais rápida em comparação com o código gerado livremente (que frequentemente inclui verificações redundantes) e o VLM (que tem alto custo computacional de inferência por consulta).
• Escalabilidade e Modularidade:
  • O sistema DSL permite a adição, remoção ou modificação de gatilhos de forma independente, facilitando a atualização incremental sem reescrever toda a pipeline.

5. Significado e Conclusão

Este trabalho representa uma mudança de paradigma na coleta de dados para IA centrada em dados:

• De Passivo para Intencional: Substitui o registro passivo por um mecanismo orientado à intenção do usuário, garantindo que apenas dados relevantes sejam capturados.
• Viabilidade em Edge: Ao impor restrições estruturais via DSL, o sistema torna-se viável para plataformas de recursos limitados (veículos, robôs), onde a latência e o uso de CPU são críticos.
• Ponte entre Humano e Máquina: Permite que especialistas de domínio (não programadores) definam políticas de coleta complexas, enquanto o sistema garante a execução técnica correta e eficiente.

Em suma, a proposta oferece um caminho prático para sistemas de coleta de dados escaláveis, eficientes e robustos, alinhando a aquisição de dados diretamente com as necessidades das tarefas de aprendizado de máquina downstream.