Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

Este artículo presenta RoboULM, una metodología y herramienta con intervención humana que aprovecha los modelos de lenguaje grandes para ayudar a los profesionales a identificar, analizar y mitigar sistemáticamente las incertidumbres en los robots autoadaptativos durante la fase de diseño, validado mediante retroalimentación positiva de profesionales industriales en cuatro casos de uso.

Lo esencial

Imagina que estás construyendo un robot que necesita navegar por una ciudad concurrida, reparar una computadora portátil o navegar un barco. El mundo es desordenado, impredecible y lleno de sorpresas. Si tu robot no está preparado para estas sorpresas (que el artículo denomina "incertidumbres"), podría chocar, romper algo o quedarse atascado.

El problema es que averiguar todas las cosas posibles que podrían salir mal es increíblemente difícil. Es como intentar listar cada forma en que una casa podría incendiarse antes de incluso construirla. Por lo general, los ingenieros tienen que adivinar basándose en su experiencia, lo que a menudo pasa por alto peligros ocultos.

Este artículo introduce una nueva herramienta llamada RoboULM para ayudar a resolver esto. Piensa en RoboULM como un asistente superinteligente e incansable que ayuda a los ingenieros a hacer una lluvia de ideas sobre cada posible escenario de "qué pasaría si" antes de que el robot sea construido.

Así es como funciona, usando analogías simples:

1. La "Lista Maestra de Verificación" (La Taxonomía)

Primero, los investigadores crearon una "Lista Maestra de Verificación" gigante y organizada llamada UncerTax.

• La Analogía: Imagina un manual de mecánico que no solo liste las partes de un automóvil, sino que categorice cada cosa posible que podría salir mal: ¿Es un neumático pinchado (hardware)? ¿Es un mapa confuso (software)? ¿Es una tormenta repentina (entorno)?
• Lo que hace: Esta lista de verificación ayuda a que los ingenieros humanos del robot y el asistente informático hablen el mismo idioma. Asegura que no solo piensen en "partes rotas", sino también en "datos confusos" o "problemas éticos".

2. El "Socio de Lluvia de Ideas" (El LLM)

La herramienta utiliza un Modelo de Lenguaje Grande (LLM), que es como una IA muy conocedora pero a veces charlatana.

• La Analogía: Imagina que estás tratando de encontrar una aguja en un pajar. Le pides a un amigo (la IA) que te ayude. Si solo dices "Encuentra la aguja", podrían perderla. Pero si les das una estrategia específica, se vuelven mucho mejores en ello.
• Lo que hace: RoboULM no solo le pide a la IA que "adivine". Le da a la IA un conjunto específico de instrucciones (prompts) basadas en la Lista Maestra de Verificación. Le dice a la IA: "Mira los requisitos del robot y dime exactamente dónde están los riesgos, usando estas 12 categorías específicas".

3. El "Humano en el Bucle" (El Refinamiento)

Esta es la parte más importante. La IA no se deja sola para hacer el trabajo; un humano siempre está en el asiento del conductor.

• La Analogía: Piensa en la IA como un becario junior que está ansioso pero a veces comete errores. Tú (el ingeniero senior) revisas su trabajo.
  • Clasificación: Le das una puntuación al becario. "Acertaste la parte de 'seguridad' (10/10), pero tu suposición sobre 'hardware' fue débil (3/10). Intenta de nuevo".
  • Ejemplos: Dices: "Recuerda esa vez que el robot resbaló en un piso mojado. Piensa en eso cuando adivines los riesgos".
  • Lista de verificación: Señalas la Lista Maestra de Verificación y dices: "Te faltó la categoría de 'entorno'. Vuelve atrás y complétala".
• Lo que hace: La herramienta permite que el ingeniero humano siga refinando las respuestas de la IA hasta que sean perfectas. Es una conversación de ida y vuelta, no un comando de una sola vez.

4. La Prueba del Mundo Real

Los investigadores probaron esta herramienta con 16 expertos reales que trabajan con cuatro tipos diferentes de robots:

1. Robots Móviles Autónomos (como los robots de entrega en almacenes).
2. Robots Industriales de Desensamblaje (robots que desmontan computadoras portátiles).
3. Robots de Manufactura Colaborativa (robots trabajando codo a codo con humanos en fábricas).
4. Vehículos Autónomos (barcos de conducción autónoma).

Los Resultados:

• Los expertos encontraron la herramienta muy útil y fácil de entender.
• Les encantaron los prompts estructurados (las instrucciones claras dadas a la IA).
• Encontraron que el refinamiento iterativo (la capacidad de calificar a la IA y pedirle que intente de nuevo con ejemplos) fue la parte más útil.
• Los expertos sintieron que esta herramienta les ayudó a encontrar riesgos que de otro modo podrían haber pasado por alto, haciendo que los robots fueran más seguros antes de llegar al mundo real.

Resumen

En resumen, RoboULM es un taller digital donde los ingenieros humanos y una IA inteligente trabajan juntos. El humano proporciona la experiencia y el juicio final, mientras que la IA actúa como un motor poderoso que escanea una enorme "Lista Maestra de Verificación" para encontrar peligros potenciales. Al trabajar juntos en un bucle de preguntar, verificar y refinar, pueden construir robots más seguros y fiables que estén listos para el mundo real impredecible.

Resumen técnico

Resumen Técnico: Análisis de Incertidumbre con Intervención Humana en Robots Autoadaptativos Mediante LLM

Enunciado del Problema
Los robots autoadaptativos (SAR) operan en entornos dinámicos e impredecibles donde las incertidumbres no abordadas pueden derivar en violaciones de seguridad y fallos operativos. Si bien la identificación temprana de incertidumbres durante la fase de diseño es más rentable que la remediación posterior al despliegue, el análisis sistemático de estas incertidumbres sigue siendo un desafío significativo. Los enfoques existentes suelen basarse en la intuición, la experiencia previa o taxonomías estáticas, las cuales solo descubren subconjuntos limitados de incertidumbres y luchan por mantener el ritmo con la evolución de las tecnologías robóticas y la integración de Modelos de Lenguaje Grande (LLM). El problema central es la falta de un método sistemático, riguroso y escalable para que los profesionales exploren y categoricen incertidumbres en SAR complejos en la etapa de diseño.

Metodología: RoboULM
Para abordar esto, los autores proponen RoboULM, una metodología y herramienta con intervención humana diseñada para apoyar a los profesionales en la exploración sistemática de incertidumbres utilizando LLM. La metodología integra tres componentes novedosos:

1. Taxonomía de Incertidumbres (UncerTax): Una categorización estructurada de incertidumbres derivada de cuatro estudios de caso industriales y validada por profesionales. UncerTax organiza las incertidumbres a través de 12 dimensiones: naturaleza (estática/dinámica), tipo (epistémica/aleatoria), etapa (diseño/desarrollo/pruebas/operativa), duración temporal, fuente de ocurrencia (hardware/entorno/software), fuente de adaptación, alcance (local/global), severidad del riesgo, atributos de calidad afectados, patrones de propagación, características de los datos e implicaciones éticas.
2. Exploración Impulsada por LLM: La herramienta utiliza LLM para razonar sobre los requisitos del sistema e identificar incertidumbres. Emplea cuatro estrategias específicas de prompting:
   • Prompting basado en roles: Establece un contexto impulsado por una persona.
   • Prompting basado en rúbricas: Incorpora clasificaciones asignadas por humanos para el refinamiento cualitativo.
   • Prompting de pocos ejemplos (Few-shot): Proporciona ejemplos para una guía basada en la experiencia.
   • Prompting restringido por ontología: Guía al modelo utilizando elementos de UncerTax.
3. Flujo de Trabajo de Refinamiento Iterativo: RoboULM opera mediante un proceso de tres pasos:
   • Comprensión del Contexto: El usuario proporciona requisitos del sistema y definiciones de roles; el LLM resume su comprensión del contexto robótico.
   • Consulta Inicial: El usuario plantea una pregunta relacionada con la incertidumbre. El LLM responde con una salida estructurada categorizada según las 12 dimensiones de UncerTax, proporcionando razonamiento para cada una.
   • Refinamiento Iterativo: Si la respuesta inicial no es satisfactoria, el usuario refina la salida utilizando uno de tres métodos:
     • Refinamiento basado en clasificación: El usuario califica segmentos de la respuesta (1–10) para destacar áreas de mejora.
     • Refinamiento impulsado por ejemplos: El usuario proporciona escenarios concretos del mundo real para clarificar las interpretaciones previstas.
     • Refinamiento guiado por taxonomía: El usuario selecciona elementos específicos de la taxonomía para dirigir el razonamiento del LLM.

La herramienta se implementa como una aplicación web (frontend en React, backend en Express) utilizando el modelo Gemini 2.5 Flash (elegido por su razonamiento híbrido y gran ventana de contexto), aunque es compatible con otros modelos como ChatGPT y Llama.

Contribuciones Clave

• UncerTax: Una taxonomía de incertidumbres exhaustiva específicamente para SAR, que detalla métodos de identificación, fuentes, impactos y estrategias de mitigación a través de 12 dimensiones.
• Herramienta RoboULM: Un prototipo funcional que operacionaliza el análisis de incertidumbre con intervención humana, combinando prompting estructurado con capacidades de refinamiento iterativo.
• Estrategias de Prompting: Un conjunto de técnicas avanzadas de prompting (clasificación, impulsada por ejemplos y guiada por taxonomía) diseñadas para refinar iterativamente los análisis de incertidumbre generados por LLM.

Evaluación y Resultados
Los autores evaluaron RoboULM con 16 profesionales (incluyendo investigadores, ingenieros de software e ingenieros robóticos) en cuatro casos de uso industriales: Robot Móvil Autónomo (AMR), Robot de Desmontaje Industrial (IDR), Robot de Manufactura Colaborativa (CMR) y Vessel Autónomo (AV).

• Usabilidad: La herramienta fue percibida en general como útil y fácil de entender. El estudio de caso AMR recibió las calificaciones más altas (mediana de 4.5/5 para utilidad y comprensión).
• Preferencia de Funcionalidades: El prompting estructurado fue la característica más valorada consistentemente (Media: 4.25, puntuación Top-Two-Box: 87.5%). El refinamiento iterativo (Paso 3) fue identificado por los participantes como el aspecto más útil.
• Métodos de Refinamiento: El refinamiento basado en clasificación fue el más utilizado y percibido como directo. El refinamiento impulsado por ejemplos recibió calificaciones altas cuando los participantes pudieron proporcionar ejemplos relevantes. El refinamiento guiado por taxonomía fue menos favorecido por algunos participantes (particularmente en los casos CMR y AV) debido a la dificultad de identificar elementos de taxonomía relevantes y al enfoque ocasional del LLM en explicar la taxonomía en lugar de refinar la respuesta.
• Registros de Interacción: La mayoría de los participantes completaron las tareas, explorando múltiples preguntas sobre incertidumbre. El análisis confirmó que los participantes cubrieron una amplia gama de fuentes de incertidumbre (entorno, hardware, software, humano) e impactos.

Significado y Afirmaciones
El artículo afirma que RoboULM demuestra la viabilidad práctica de utilizar LLM para el análisis sistemático de incertidumbres en robots complejos. Los hallazgos sugieren que combinar prompting estructurado con refinamiento iterativo guiado por humanos permite a los profesionales explorar incertidumbres de manera más exhaustiva que los métodos tradicionales. Los autores posicionan a RoboULM como una solución viable para abordar el desafío del análisis riguroso de incertidumbres en SAR, particularmente aprovechando las capacidades de razonamiento de los LLM mientras se mantiene la supervisión humana a través de la taxonomía y los bucles de refinamiento.

Los autores mantienen modestia respecto a sus afirmaciones, señalando que este trabajo presenta un "primer prototipo funcional" y un estudio de usabilidad. Reconocen limitaciones en la validez externa debido al tamaño de la muestra (16 participantes), pero argumentan que la diversidad de casos industriales y roles de participantes fortalece los hallazgos. Se planea trabajo futuro para incorporar características sugeridas por los participantes y evaluar la herramienta en casos robóticos adicionales y LLM.