Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

Este artigo apresenta o RoboULM, uma metodologia e ferramenta de ciclo humano-no-laço que aproveita modelos de linguagem de grande escala para auxiliar profissionais a identificar, analisar e mitigar sistematicamente incertezas em robôs autoadaptativos durante a fase de projeto, conforme validado por feedback positivo de profissionais da indústria em quatro casos de uso.

O essencial

Imagine que você está construindo um robô que precisa navegar por uma cidade movimentada, consertar um laptop ou zarpar um navio. O mundo é bagunçado, imprevisível e cheio de surpresas. Se o seu robô não estiver preparado para essas surpresas (que o artigo chama de "incertezas"), ele pode colidir, quebrar algo ou ficar preso.

O problema é que descobrir todas as coisas possíveis que podem dar errado é incrivelmente difícil. É como tentar listar cada maneira possível de uma casa pegar fogo antes mesmo de construí-la. Geralmente, os engenheiros têm que adivinhar com base em sua experiência, o que frequentemente deixa passar perigos ocultos.

Este artigo apresenta uma nova ferramenta chamada RoboULM para ajudar a resolver isso. Pense no RoboULM como um assistente superinteligente e incansável que ajuda os engenheiros a fazerem brainstorming de todos os cenários possíveis de "e se" antes que o robô seja construído.

Veja como funciona, usando analogias simples:

1. A "Lista de Verificação Mestre" (A Taxonomia)

Primeiro, os pesquisadores criaram uma "Lista de Verificação Mestre" gigante e organizada chamada UncerTax.

• A Analogia: Imagine um manual de mecânico que não lista apenas as peças do carro, mas categoriza tudo o que pode dar errado: é um pneu furado (hardware)? É um mapa confuso (software)? É uma tempestade repentina (ambiente)?
• O que faz: Esta lista de verificação ajuda os engenheiros humanos do robô e o assistente de computador a falarem a mesma língua. Garante que eles não pensem apenas em "peças quebradas", mas também em "dados confusos" ou "questões éticas".

2. O "Parceiro de Brainstorming" (O LLM)

A ferramenta usa um Modelo de Linguagem Grande (LLM), que é como uma IA muito conhecedora, mas às vezes tagarela.

• A Analogia: Imagine que você está tentando encontrar uma agulha num palheiro. Você pede a um amigo (a IA) para ajudar. Se você apenas disser "Encontre a agulha", eles podem perdê-la. Mas se você der a eles uma estratégia específica, eles ficam muito melhores nisso.
• O que faz: O RoboULM não pede apenas à IA para "adivinhar". Ele dá à IA um conjunto específico de instruções (prompts) baseado na Lista de Verificação Mestre. Ele diz à IA: "Olhe para os requisitos do robô e diga-me exatamente onde estão os riscos, usando estas 12 categorias específicas."

3. O "Humano no Comando" (O Refinamento)

Esta é a parte mais importante. A IA não fica sozinha para fazer o trabalho; um humano está sempre no banco do motorista.

• A Analogia: Pense na IA como um estagiário júnior que é entusiasta, mas às vezes comete erros. Você (o engenheiro sênior) revisa o trabalho deles.
  • Classificação: Você dá uma nota ao estagiário. "Você acertou a parte de 'segurança' (10/10), mas sua suposição de 'hardware' foi fraca (3/10). Tente novamente."
  • Exemplos: Você diz: "Lembre-se daquela vez em que o robô escorregou num chão molhado? Pense nisso quando você estiver prevendo os riscos."
  • Lista de Verificação: Você aponta para a Lista de Verificação Mestre e diz: "Você perdeu a categoria 'ambiente'. Volte e preencha isso."
• O que faz: A ferramenta permite que o engenheiro humano continue refinando as respostas da IA até que elas estejam perfeitas. É uma conversa de ida e volta, não um comando único.

4. O Teste do Mundo Real

Os pesquisadores testaram esta ferramenta com 16 especialistas reais que trabalham com quatro tipos diferentes de robôs:

1. Robôs Móveis Autônomos (como robôs de entrega em armazéns).
2. Robôs de Desmontagem Industrial (robôs que desmontam laptops).
3. Robôs de Manufatura Colaborativa (robôs trabalhando lado a lado com humanos em fábricas).
4. Embarcações Autônomas (navios autônomos).

Os Resultados:

• Os especialistas acharam a ferramenta muito útil e fácil de entender.
• Eles adoraram os prompts estruturados (as instruções claras dadas à IA).
• Eles consideraram o refinamento iterativo (a capacidade de classificar a IA e pedir que ela tente novamente com exemplos) como a parte mais útil.
• Os especialistas sentiram que esta ferramenta os ajudou a encontrar riscos que, de outra forma, poderiam ter perdido, tornando os robôs mais seguros antes de chegarem ao mundo real.

Resumo

Em resumo, o RoboULM é uma oficina digital onde engenheiros humanos e uma IA inteligente trabalham juntos. O humano fornece a experiência e o julgamento final, enquanto a IA atua como um motor poderoso que varre uma enorme "Lista de Verificação Mestre" para encontrar perigos potenciais. Ao trabalhar juntos em um ciclo de perguntas, verificações e refinamentos, eles podem construir robôs mais seguros e confiáveis, prontos para o mundo real imprevisível.

Resumo técnico

Resumo Técnico: Análise de Incerteza com Humano no Loop em Robôs Autoadaptativos Utilizando LLMs

Declaração do Problema
Robôs autoadaptativos (SARs) operam em ambientes dinâmicos e imprevisíveis, onde incertezas não abordadas podem levar a violações de segurança e falhas operacionais. Embora a identificação precoce de incertezas durante a fase de projeto seja mais custo-efetiva do que a remediação pós-implementação, a análise sistemática dessas incertezas permanece um desafio significativo. Abordagens existentes frequentemente dependem de intuição, experiência prévia ou taxonomias estáticas, que revelam apenas subconjuntos limitados de incertezas e lutam para acompanhar as tecnologias robóticas em evolução e a integração de Modelos de Linguagem Grandes (LLMs). O problema central é a falta de um método sistemático, rigoroso e escalável para que profissionais explorem e categorizem incertezas em SARs complexos na fase de projeto.

Metodologia: RoboULM
Para abordar isso, os autores propõem o RoboULM, uma metodologia e ferramenta com humano no loop projetada para apoiar profissionais na exploração sistemática de incertezas usando LLMs. A metodologia integra três componentes inovadores:

1. Taxonomia de Incerteza (UncerTax): Uma categorização estruturada de incertezas derivada de quatro estudos de caso industriais e validada por profissionais. A UncerTax organiza incertezas em 12 dimensões: natureza (estática/dinâmica), tipo (epistêmica/aleatória), fase (projeto/desenvolvimento/teste/operacional), duração temporal, fonte de ocorrência (hardware/meio ambiente/software), fonte de adaptação, escopo (local/global), severidade de risco, atributos de qualidade afetados, padrões de propagação, características de dados e implicações éticas.
2. Exploração Orientada por LLM: A ferramenta utiliza LLMs para raciocinar sobre requisitos do sistema e identificar incertezas. Emprega quatro estratégias específicas de prompt:
   • Prompt baseado em papel: Estabelece um contexto orientado por persona.
   • Prompt baseado em rubrica: Incorpora classificações atribuídas por humanos para refinamento qualitativo.
   • Prompt de poucos exemplos: Fornece exemplos para orientação baseada em experiência.
   • Prompt restrito por ontologia: Guia o modelo usando elementos da UncerTax.
3. Fluxo de Trabalho de Refinamento Iterativo: O RoboULM opera por meio de um processo de três etapas:
   • Compreensão do Contexto: O usuário fornece requisitos do sistema e definições de papel; o LLM resume sua compreensão do contexto robótico.
   • Consulta Inicial: O usuário faz uma pergunta relacionada a incertezas. O LLM responde com uma saída estruturada categorizada de acordo com as 12 dimensões da UncerTax, fornecendo raciocínio para cada uma.
   • Refinamento Iterativo: Se a resposta inicial for insatisfatória, o usuário refina a saída usando um de três métodos:
     • Refinamento baseado em classificação: O usuário pontua segmentos da resposta (1–10) para destacar áreas de melhoria.
     • Refinamento orientado por exemplos: O usuário fornece cenários concretos do mundo real para esclarecer interpretações pretendidas.
     • Refinamento guiado por taxonomia: O usuário seleciona elementos específicos da taxonomia para direcionar o raciocínio do LLM.

A ferramenta é implementada como um aplicativo web (frontend React, backend Express) usando o modelo Gemini 2.5 Flash (escolhido por seu raciocínio híbrido e grande janela de contexto), embora seja compatível com outros modelos como ChatGPT e Llama.

Principais Contribuições

• UncerTax: Uma taxonomia abrangente de incertezas especificamente para SARs, detalhando métodos de identificação, fontes, impactos e estratégias de mitigação em 12 dimensões.
• Ferramenta RoboULM: Um protótipo funcional que operacionaliza a análise de incerteza com humano no loop, combinando prompts estruturados com capacidades de refinamento iterativo.
• Estratégias de Prompt: Um conjunto de técnicas avançadas de prompt (baseada em classificação, orientada por exemplos e guiada por taxonomia) projetadas para refinar iterativamente análises de incerteza geradas por LLMs.

Avaliação e Resultados
Os autores avaliaram o RoboULM com 16 profissionais (incluindo pesquisadores, engenheiros de software e engenheiros robóticos) em quatro casos de uso industriais: Robô Móvel Autônomo (AMR), Robô de Desmontagem Industrial (IDR), Robô de Manufatura Colaborativa (CMR) e Embarcação Autônoma (AV).

• Usabilidade: A ferramenta foi geralmente percebida como útil e fácil de entender. O estudo de caso AMR recebeu as maiores classificações (mediana de 4,5/5 para utilidade e compreensão).
• Preferência de Recursos: O prompt estruturado foi o recurso mais consistentemente valorizado (Média: 4,25, pontuação Top-Two-Box: 87,5%). O refinamento iterativo (Etapa 3) foi identificado como o aspecto mais útil pelos participantes.
• Métodos de Refinamento: O refinamento baseado em classificação foi o mais frequentemente utilizado e percebido como direto. O refinamento orientado por exemplos recebeu classificações fortes quando os participantes puderam fornecer exemplos relevantes. O refinamento guiado por taxonomia foi menos favorecido por alguns participantes (particularmente nos casos CMR e AV) devido ao desafio de identificar elementos de taxonomia relevantes e ao foco ocasional do LLM em explicar a taxonomia em vez de refinar a resposta.
• Registros de Interação: A maioria dos participantes completou as tarefas, explorando múltiplas perguntas sobre incertezas. A análise confirmou que os participantes cobriram uma ampla gama de fontes de incerteza (ambiente, hardware, software, humano) e impactos.

Significado e Alegações
O artigo afirma que o RoboULM demonstra a praticidade de usar LLMs para análise sistemática de incertezas em robôs complexos. As descobertas sugerem que combinar prompts estruturados com refinamento iterativo guiado por humanos permite que profissionais explorem incertezas de forma mais abrangente do que métodos tradicionais. Os autores posicionam o RoboULM como uma solução viável para abordar o desafio da análise rigorosa de incertezas em SARs, particularmente ao aproveitar as capacidades de raciocínio de LLMs enquanto mantêm a supervisão humana por meio da taxonomia e dos loops de refinamento.

Os autores permanecem modestos em relação às suas alegações, observando que este trabalho apresenta um "primeiro protótipo funcional" e um estudo de usabilidade. Eles reconhecem limitações na validade externa devido ao tamanho da amostra (16 participantes), mas argumentam que a diversidade dos casos industriais e dos papéis dos participantes fortalece as descobertas. Trabalhos futuros estão planejados para incorporar recursos sugeridos pelos participantes e avaliar a ferramenta em casos robóticos adicionais e LLMs.