🤖 AI

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents

Este artigo apresenta o ValuePlanner, uma arquitetura cognitiva hierárquica que combina raciocínio de valores baseado em LLMs com planejamento clássico para permitir que agentes corporificados executem comportamentos estáveis, autodirigidos e de longo horizonte, resolvendo conflitos motivacionais, validado por meio de uma nova suíte de avaliação centrada em valores no ambiente TongSim.

Autores originais: Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um ajudante robô em sua casa. Atualmente, a maioria desses robôs é como estagiários muito obedientes, mas ligeiramente confusos. Se você disser a eles: "Vá limpar a cozinha", eles fazem isso. Se você disser: "Vá fazer café", eles também fazem isso. Mas se você simplesmente se afastar e deixá-los sozinhos? Geralmente, eles ficam apenas parados, aguardando uma nova ordem. Eles não sabem o que fazer por conta própria.

Este artigo apresenta um novo tipo de cérebro robótico chamado ValuePlanner. Em vez de aguardar ordens, este robô possui sua própria "personalidade" e um conjunto de valores internos que indicam o que é mais importante. É como dar ao robô uma bússola moral e uma lista de tarefas que ele mesmo escreve.

Veja como funciona, dividido em partes simples:

1. O Problema: O "O Quê" versus O "Como"

Os autores perceberam que fazer um robô agir por conta própria é difícil porque há duas funções distintas:

O "O Quê" (Pensamento de Alto Nível): Decidir o que fazer a seguir com base no que parece importante. (Exemplo: "Provavelmente devo organizar porque gosto de ordem.")
O "Como" (Ação de Baixo Nível): Descobrir os passos específicos para fazê-lo sem quebrar nada. (Exemplo: "Pegue a xícara, caminhe até a pia, abra a torneira...")

Os robôs atuais frequentemente tentam fazer ambas as coisas ao mesmo tempo com um único cérebro grande (geralmente um Modelo de Linguagem de Grande Porte). O problema é que esses cérebros grandes às vezes "alucinam" (inventam coisas) ou esquecem as leis da física (como tentar atravessar uma parede).

2. A Solução: Uma Equipe de Duas Partes

Os autores criaram o ValuePlanner, que divide o trabalho em dois membros especializados da equipe que conversam entre si:

O "Visionário" (O LLM): Esta é a parte criativa. Ele observa os "valores" internos do robô (como "Eu amo um quarto limpo" ou "Quero estar seguro") e decide um Objetivo. Ele não se preocupa com os pequenos passos; apenas diz: "Vamos deixar o quarto organizado."
O "Capataz" (O Planejador Simbólico): Esta é a parte estrita e lógica. Ele pega o objetivo do Visionário e verifica as regras da casa. Ele diz: "Certo, para deixar o quarto organizado, precisamos pegar o lixo e depois colocá-lo na lixeira. Não podemos atravessar a parede." Ele cria um plano passo a passo que é garantido funcionar fisicamente.

O Ciclo Mágico:
Se o Capataz disser: "Ei, esse plano não vai funcionar porque a lixeira está cheia", o Visionário não desiste simplesmente. Ele obtém uma segunda opinião de um Crítico (um terceiro cérebro que atua como um treinador). O Crítico diz: "Esse plano estava muito bagunçado. Vamos tentar um objetivo diferente." Eles continuam refinando o plano até que esteja perfeito.

3. Os "Valores" (A Personalidade do Robô)

Como o robô sabe o que fazer quando não tem chefe? Ele usa um sistema baseado na psicologia humana (especificamente, a teoria dos valores de Schwartz).

Imagine que o robô tem um seletor com 7 configurações, como um botão de volume para diferentes sentimentos:

Segurança: "Quero estar seguro e confortável."
Administração: "Quero cuidar da minha casa e mantê-la limpa."
Hedonismo: "Quero relaxar e me divertir."
Realização: "Quero fazer as coisas acontecerem."

Se o robô estiver "com fome" (baixa energia), ele pode priorizar a Segurança (comer algo). Se estiver satisfeito, mas o quarto estiver bagunçado, pode priorizar a Administração (limpar). Se estiver entediado, pode priorizar o Hedonismo (ler um livro).

A parte legal é que o robô pode arbitrar conflitos.

Cenário: O quarto está bagunçado, mas há um vaso na borda da mesa que pode cair.
Robô Antigo: Pode apenas limpar a bagunça e derrubar o vaso.
ValuePlanner: Pesa os valores. "Segurança" (não quebrar o vaso) é mais importante agora do que "Administração" (limpar). Então, ele move o vaso primeiro e depois limpa a bagunça. Ele faz uma troca inteligente.

4. Como Eles Testaram

Eles colocaram esse robô em uma casa virtual (chamada TongSim) e observaram por muito tempo sem dar nenhuma ordem.

O Resultado: O robô não ficou apenas sentado. Ele começou a limpar, organizar e relaxar por conta própria.
A Comparação: Eles o compararam com outros robôs que apenas seguem ordens ou reagem a necessidades básicas (como "Estou com fome, como"). O ValuePlanner foi muito melhor em criar um plano coerente e de longo prazo que parecia uma pessoa real vivendo em uma casa, em vez de uma máquina apenas marcando caixas.

5. A Conclusão

Este artigo não diz apenas "robôs podem realizar tarefas". Ele diz: "Robôs podem ter um 'porquê'."

Ao separar o criativo "o que devo fazer?" do lógico "como faço isso?", e ao dar ao robô um conjunto de valores internos para guiar suas escolhas, os autores criaram um agente capaz de agir proativamente. Não é apenas seguir um roteiro; é tomar decisões com base no que ele acha importante, assim como um humano faz quando decide limpar seu quarto, mesmo que ninguém tenha pedido.

Em resumo: Eles ensinaram um robô a ter uma personalidade e um plano, para que ele possa viver sua própria vida em uma casa, em vez de apenas esperar você dizer o que fazer a seguir.

1. Declaração do Problema

Os agentes corporificados atuais (robôs ou agentes virtuais em ambientes físicos) sofrem de passividade. Eles são predominantemente limitados a:

Seguimento de instruções: Agir apenas quando explicitamente solicitados por um usuário externo.
Satisfação reativa de necessidades: Agir apenas para satisfazer estados internos imediatos (por exemplo, fome) sem planejamento estratégico de longo prazo.

Esses agentes carecem de um sistema de valores estável e de alta ordem, necessário para:

Autonomia Proativa: Comportamento autodirigido na ausência de comandos externos.
Resolução de Conflitos: Arbitrar entre motivações concorrentes (por exemplo, escolher entre "limpar o quarto" para ordem vs. "comer" para fome).
Coesão de Longo Alcance: Gerar comportamentos coerentes e multietapas que se alinhem a uma persona interna consistente, em vez de apenas maximizar recompensas imediatas.

O desafio central é a otimização conjunta de um espaço de valores abstratos de alta dimensão (decidir o que fazer com base em valores) e um vasto espaço de ações combinatórias (decidir como fazê-lo fisicamente).

2. Metodologia: ValuePlanner

Os autores propõem o ValuePlanner, uma arquitetura cognitiva neuro-simbólica hierárquica que desacopla o raciocínio de alto nível sobre valores da execução de ações de baixo nível. Ele é fundamentado na Teoria dos Valores Básicos de Schwartz, adaptada para um cenário doméstico de agente único.

A. Sistema de Valores Intrínsecos

Em vez de sinais homeostáticos simples, o agente opera em um sistema de valores intrínsecos de 7 dimensões derivado da teoria de Schwartz:

Segurança-Fisiológica: Bem-estar corporal (fome, energia).
Segurança-Ambiental: Ordem e segurança do entorno.
Hedonismo: Conforto e prazer imediatos.
Estimulação: Novidade e exploração.
Realização: Produtividade e competência.
Administração (Stewardship): Cuidar e manter o ambiente (fundido de Benevolência/Conformidade).
Enriquecimento: Engajamento orientado ao processo em atividades mundanas.

A "persona" do agente é definida por um vetor de preferências estático $w$ , ponderando essas dimensões. O objetivo é maximizar o Ganho Cumulativo de Valores ( $\Delta V$ ) ao longo de uma trajetória.

B. Arquitetura Hierárquica

O ValuePlanner emprega um loop Gerador-Crítico-Ajuste:

Raciocinador de Alto Nível sobre Valores (baseado em LLM):
- Gerador: Propõe uma sequência de sub-objetivos simbólicos (por exemplo, "arrumar o quarto") para maximizar o ganho de valor esperado. Ele é restrito por "Regras de Interpretação do Ambiente" para prevenir alucinações e garantir que os objetivos sejam mudanças de estado duráveis, não ações transitórias.
- Crítico: Audita o plano gerado. Realiza uma "Análise de Maximização de Ganho de Valores" (verificando se o plano otimiza verdadeiramente os pesos da persona) e uma "Análise de Qualidade do Plano" (verificando eficiência e fluxo lógico). Isso cria um loop iterativo de refinamento antes da execução.
Ancorador de Ações Simbólicas de Baixo Nível (baseado em PDDL):
- Traduz sub-objetivos abstratos em sequências de ações atômicas executáveis usando um planejador clássico (Fast Downward).
- Função: Garante consistência física e lógica. Se o planejador falhar (por exemplo, "nenhum plano encontrado"), prova que o sub-objetivo é inatingível, efetivamente podando alucinações do LLM.
Mecanismo de Adaptação (Loop Fechado):
- Em Caso de Falha: O LLM diagnostica a causa raiz (por exemplo, tipo de predicado errado) e replaneja.
- Em Caso de Sucesso: Crucialmente, o sistema reavalia os sub-objetivos restantes contra o novo estado do mundo. Isso permite planejamento sinérgico (por exemplo, perceber que, estando na geladeira para pegar leite, o agente também pode pegar um lanche para um objetivo futuro), otimizando a trajetória dinamicamente.

3. Contribuições Principais

Arquitetura Cognitiva Hierárquica: Uma arquitetura inovadora que separa "o que fazer" (deliberação de valores baseada em LLM) de "como fazer" (planejamento simbólico), permitindo autonomia proativa fundamentada na teoria dos valores de Schwartz.
Implementação do ValuePlanner: Um agente neuro-simbólico funcional que arbitra com sucesso conflitos complexos de valores (por exemplo, equilibrar "Segurança" vs. "Administração") para gerar comportamento coerente e autodirigido.
Suite de Avaliação Centrada em Valores: Indo além das taxas simples de sucesso de tarefas, os autores introduzem métricas para:
- Ganho Cumulativo de Valores: Valor total acumulado.
- Alinhamento de Preferências: Se o comportamento do agente reflete fielmente sua persona atribuída (medido via Kendall $\tau$ Ponderado).
- Diversidade de Ações: Prevenção de "hacking de recompensa" através de loops repetitivos.

4. Resultados Experimentais

Os experimentos foram conduzidos no TongSim, um ambiente de simulação doméstica de alta fidelidade.

Desempenho: O ValuePlanner superou significativamente as linhas de base (ReAct, Reflexion, Plan-and-Solve e D2A) no Ganho Cumulativo de Valores (17,08 vs. ~11,9 para o próximo melhor) e na Diversidade de Ações (16,07 vs. ~10,6).
Autenticidade Comportamental: O agente demonstrou alto Alinhamento de Preferências, provando que não estava apenas maximizando uma única métrica, mas equilibrando todo o perfil de valores de acordo com sua persona.
Compensações de Valores:
- Sinergia: O sistema identificou corretamente relações sinérgicas (por exemplo, limpar um quarto melhora tanto "Segurança-Ambiental" quanto "Administração").
- Resolução de Conflitos: Navegou com sucesso por valores conflitantes (por exemplo, priorizar "Segurança" (dormir) sobre "Realização" quando exausto, ou priorizar "Administração" sobre "Hedonismo" para uma persona de "Administrador").
Validação Humana: Estudos humanos confirmaram que a pontuação de ganho de valores do avaliador LLM correlacionou-se fortemente com o julgamento humano ( $r=0,68$ ) e que observadores humanos puderam inferir com precisão a persona do agente a partir de seu comportamento.

5. Significado e Trabalho Futuro

Mudança de Reativo para Proativo: Este trabalho preenche a lacuna entre percepção e comportamento autônomo, permitindo que agentes atuem com base em valores internos em vez de prompts externos.
Sinergia Neuro-Simbólica: Demonstra que combinar a flexibilidade dos LLMs (para raciocínio abstrato) com o rigor dos planejadores simbólicos (para execução) é essencial para IA corporificada confiável de longo alcance.
Limitações: O quadro atual depende de um domínio simbólico estático e predefinido. O agente não pode aprender novas affordances (por exemplo, descobrir que uma tigela pode servir de tampa) ou atualizar suas regras de domínio PDDL.
Direção Futura: Os autores propõem fechar o "loop epistêmico" para permitir que os agentes observem, verifiquem e integrem novas regras simbólicas em seus modelos de mundo para adaptação de longo prazo.

Em resumo, o ValuePlanner representa um passo significativo em direção a agentes verdadeiramente autônomos que possuem uma "personalidade", podem resolver conflitos internos e agem proativamente para manter uma existência coerente e orientada por valores em ambientes complexos.