Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning

Resumo Técnico: GLOBE – Assistência Robótica Proativa Personalizada e Robusta

Declaração do Problema
A assistência robótica proativa em ambientes domésticos requer a previsão precisa de atividades humanas e o uso subsequente de objetos sob condições dinâmicas e ruidosas. Abordagens existentes, como modelos espaço-temporais (ex: STOT, SLaTe-PRO), frequentemente dependem de arquiteturas complexas que são computacionalmente caras e sensíveis à variabilidade ambiental. Esses métodos frequentemente enfrentam dificuldades com ruídos do mundo real, como deslocamentos de objetos causados por animais de estimação, crianças pequenas ou ações humanas incidentais, que não são explicitamente modelados em conjuntos de dados padrão. Além disso, há uma necessidade de frameworks que equilibrem precisão preditiva com eficiência computacional e robustez para implantação de longo prazo.

Metodologia: O Framework GLOBE
Os autores propõem o GLOBE (uncertainty-Guided LLM reasoning for routine Object prediction via Behavioral tEmporal modeling), um framework híbrido leve projetado para prever o uso de objetos para assistência proativa. O sistema opera através de um processo de duas fases: uma fase de observação (treinamento) e uma fase de assistência (inferência).

1. Predição Sequencial via Modelos de Markov n-gram:

   • Predição de Atividade: O sistema treina modelos de Markov n-gram em dados sequenciais de atividade do usuário. Ele calcula probabilidades de transição baseadas no histórico recente de atividades ($c_{act}$). Para lidar com o contexto limitado, o modelo emprega uma estratégia de "back-off", utilizando progressivamente sequências de histórico mais curtas se a sequência mais longa observada não foi encontrada durante o treinamento.
   • Predição de Objeto: O uso de objetos é previsto condicionado à atividade prevista ($\hat{a}_t$) e ao histórico recente de objetos ($c_{obj}$) dentro desse contexto de atividade específico. O modelo restringe as predições ao conjunto de objetos que ocorrem simultaneamente com a atividade, garantindo consistência contextual.

2. Raciocínio de LLM Guiado por Incerteza:

   • Para lidar com esparsidade, ambiguidade ou padrões não vistos onde a confiança do modelo de Markov é baixa, o framework invoca seletivamente um Modelo de Linguagem de Grande Escala (LLM) pré-treinado.
   • Um limiar de confiança ($d$) determina quando acionar o LLM. Se a probabilidade do modelo sequencial cair abaixo deste limiar, o LLM é consultado com a atividade recente, a sequência de objetos e um conjunto filtrado dos $k$ principais candidatos do modelo n-gram.
   • O LLM utiliza suas capacidades de raciocínio semântico para refinar a predição, levando em conta conhecimentos contextuais mais amplos sem ser o único tomador de decisão.

3. Dataset HOMER-Noise:

   • Para avaliar a robustez, os autores introduzem o HOMER-Noise, uma extensão do dataset HOMER+ existente.
   • Este dataset simula perturbações ambientais realistas injetando movimentos estruturados de objetos causados por três fontes distintas: Pessoa (reorganização/arrumação), Animal de Estimação (deslocamento incidental) e Criança Pequena (movimento aleatório imprevisível).
   • Essas perturbações são geradas usando LLMs para garantir consistência semântica com o ambiente doméstico, criando um benchmark que distingue entre mudanças induzidas pela atividade e ruído externo.

Principais Contribuições

• Framework GLOBE: Uma arquitetura híbrida que combina a modelagem eficiente de Markov n-gram para padrões rotineiros com o raciocínio de LLM seletivo e guiado por incerteza. Este design evita a sobrecarga computacional de usar LLMs para cada predição.
• Dataset HOMER-Noise: Uma extensão novel do dataset que modela explicitamente o ruído ambiental estruturado (interações humanas, de animais de estimação e de crianças pequenas) para simular melhor a variabilidade do mundo real nos lares.
• Robustez e Eficiência: A abordagem demonstra que modelos sequenciais leves, aumentados por LLMs apenas quando necessário, podem alcançar um desempenho competitivo com métodos de estado da arte (SOTA) enquanto reduzem significamente o tempo de treinamento e melhoram a resiliência ao ruído.

Resultados Experimentais
O framework foi avaliado tanto no dataset limpo HOMER+ quanto no dataset ruidoso HOMER-Noise, comparando o desempenho contra SLaTe-PRO, STOT, modelos n-gram isolados e baselines de LLM zero-shot.

• Desempenho Preditivo: No dataset limpo HOMER+, o GLOBE alcançou um F1-score médio de 0,73, aproximando-se do SLaTe-PRO (0,74) e superando o modelo n-gram isolado (0,72) e o LLM zero-shot (0,29). O GLOBE alcançou especificamente o maior F1-score de predição de atividade (0,80).
• Eficiência Computacional: O GLOBE demonstrou superioridade na eficiência de treinamento, exigindo apenas 8,33 segundos comparado aos 11.415 segundos do SLaTe-PRO. Embora a latência de inferência tenha sido maior (192,49s vs. 93s para o SLaTe-PRO) devido às chamadas de API seletivas, esse custo é incorrido apenas em cenários de baixa confiança.
• Robustez ao Ruído: Sob condições de ruído estruturado (HOMER-Noise), o GLOBE superou consistentemente o SLaTe-PRO em F1-score médio através dos tipos de ruído de Pessoa, Animal de Estimação e Criança Pequena. Notavelmente, o GLOBE manteve a predição de atividade estável (0,80) em todos os níveis de ruído, enquanto o desempenho do SLaTe-PRO degradou significativamente.
• Estudos de Ablação: Os resultados indicaram que o framework é robusto através de vários níveis de ruído no treinamento (0,25 a 0,75) e que um limiar de confiança de 0,5 oferece o melhor equilíbrio entre a modelagem sequencial e a intervenção do LLM.

Significância e Alegações
O artigo afirma que o GLOBE aborda lacunas críticas na assistência robótica proativa ao oferecer uma solução que é simultaneamente computacionalmente eficiente e robusta à variabilidade ambiental. Ao alavancar as forças de modelos estatísticos leves para comportamentos rotineiros e reservar o raciocínio de LLM para situações de incerteza, o framework alcança um equilíbrio entre velocidade e adaptabilidade. A introdução do HOMER-Noise fornece um benchmark mais realista para avaliar sistemas destinados ao implante no mundo real, onde os estados dos objetos são frequentemente alterados por fatores não relacionados à atividade principal do usuário. Os autores validam o potencial do sistema através de uma integração de prova de conceito com um manipulador móvel Stretch 3, demonstrando sua aplicabilidade em cenários de interação humano-robô.