A Domain-Specific Language for LLM-Driven Trigger Generation in Multimodal Data Collection

Título: Un Lenguaje Específico de Dominio (DSL) para la Generación de Disparadores Impulsada por LLM en la Recolección de Datos Multimodales

1. El Problema

Los sistemas basados en datos dependen críticamente de la calidad de los datos, pero las tuberías de recolección actuales suelen ser pasivas e indiscriminadas. En entornos como vehículos autónomos y robótica, el registro continuo de flujos de sensores multimodales (cámaras, LiDAR, telemetría) genera volúmenes masivos de datos, lo que conlleva:

• Altos costos de almacenamiento y transmisión.
• Datos irrelevantes: La mayoría de los registros no aportan valor para las tareas de aprendizaje o validación posteriores.
• Ineficiencia en el filtrado: El filtrado post hoc introduce latencia y deja a los equipos de desarrollo con grandes cantidades de muestras inútiles.
• Barreras de desarrollo: Las estrategias actuales de captura selectiva dependen de código de bajo nivel escrito a mano por expertos, lo que dificulta la auditoría, la reutilización y el mantenimiento. Además, la relevancia de los datos es subjetiva y depende de la tarea específica (percepción vs. control), algo que los sistemas actuales no capturan bien.

2. Metodología

Los autores proponen un marco de trabajo declarativo que combina la interacción en lenguaje natural con un Lenguaje Especifico de Dominio (DSL) formalmente definido, orquestado por Modelos de Lenguaje Grandes (LLM).

• Enfoque Declarativo: En lugar de escribir código imperativo, los usuarios (ingenieros de validación, expertos) describen qué datos necesitan en lenguaje natural (ej. "capturar situaciones con peatones bajo la lluvia").
• Arquitectura del Sistema:
  1. Traducción LLM: Un LLM (específicamente gpt-oss-120b en la evaluación) recibe la solicitud del usuario y el contexto del sistema (descripciones de señales, lógica de control). Utiliza una configuración de Generación Aumentada por Recuperación (RAG) para acceder a documentación técnica dispersa.
  2. Generación de DSL: El LLM traduce la solicitud en un programa DSL válido basado en una gramática formal (definida en EBNF). Este DSL permite definir predicados lógicos (booleanos) sobre el estado del vehículo y la escena.
  3. Ejecución en Dispositivo: El DSL se compila en una configuración JSON que se despliega en el vehículo. El sistema de ejecución en el vehículo consta de:
     • Data Manager: Preprocesa y almacena en caché los datos de los sensores.
     • Trigger Engine: Evalúa las condiciones lógicas del DSL en tiempo real sobre la situación actual.
     • Trigger Manager: Orquesta la ejecución y gestiona la activación de la grabación de datos.
• Definiciones Formales: El marco formaliza conceptos como "Escena" (conjunto de elementos semánticos y espaciales), "Estado del Vehículo" (señales internas) y "Disparador" (función booleana que combina predicados mediante operadores lógicos AND, NOT, etc.).

3. Contribuciones Clave

1. Un DSL para Disparadores Multimodales: Un lenguaje con lógica condicional y composición que permite la verificación formal y una ejecución eficiente en dispositivos con recursos limitados.
2. Marco de Integración con LLM: Un sistema que traduce requisitos de alto nivel en programas de captura auditables y reutilizables, reduciendo la necesidad de expertos en sistemas y codificación de bajo nivel.
3. Evaluación Empírica: Validación en plataformas vehiculares y robóticas que demuestra mejoras en la eficiencia de los disparadores, reducción de la captura redundante y mayor calidad del conjunto de datos para entrenamiento.
4. Arquitectura Modular: Permite la composición modular de disparadores y el despliegue concurrente, superando las limitaciones de los enfoques de código plano o sistemas de visión-idioma unimodales.

4. Resultados

La evaluación comparó tres enfoques: el propuesto (LLM + DSL), generación de código plano (LLM + código) y un modelo de visión-idioma (VLM) directo.

• Consistencia de Generación: El enfoque basado en DSL mostró una consistencia significativamente superior. Las métricas de similitud (Levenshtein, Coseno, SequenceMatcher) fueron mucho más altas para el DSL (ej. similitud Levenshtein de 0.966 frente a 0.392 en código plano), indicando que el DSL reduce la variabilidad en la generación de lógica.
• Rendimiento de Ejecución (Latencia): El enfoque DSL logró el tiempo de ejecución más bajo. La estructura optimizada y la integración con el backbone evitan las comprobaciones redundantes comunes en el código generado libremente. El VLM tuvo el mayor tiempo de ejecución debido al costo de inferencia constante.
• Capacidad de Detección: El rendimiento de detección (Precisión, Recall, F1) fue comparable entre el DSL y el código plano, aunque ligeramente inferior al VLM en algunos casos. Sin embargo, el DSL mantiene un equilibrio óptimo entre precisión y eficiencia operativa.
• Eficiencia en Recursos: El DSL permite la ejecución concurrente de múltiples disparadores en plataformas de borde sin sobrecargar el sistema, algo difícil de lograr con inferencias de VLM o lógica de código no optimizada.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la recolección de datos para IA, pasando de un registro pasivo a una captura activa e impulsada por intenciones.

• Escalabilidad: Al abstraer la complejidad técnica en un DSL, permite que no expertos definan políticas de relevancia de datos, facilitando la iteración rápida en flotas de vehículos.
• Viabilidad en el Borde (Edge): La combinación de LLM para la generación y DSL para la ejecución hace posible desplegar sistemas de recolección de datos inteligentes en hardware con recursos limitados, donde la latencia y el consumo de energía son críticos.
• Calidad de Datos: Al capturar solo los datos relevantes para tareas específicas, se mejora la eficiencia del ciclo de vida del desarrollo de IA, reduciendo costos de almacenamiento y acelerando el entrenamiento de modelos.

En conclusión, el marco propuesto ofrece una vía práctica y robusta para la IA centrada en datos en sistemas en tiempo real, asegurando que la recolección de datos sea verificable, modular y adaptable a objetivos cambiantes.