Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

Resumo Técnico: Aprimorando a Inteligência Social em LLMs com Raciocínio Hierárquico e Recompensa de Enunciado por Nível

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) se destaquem em tarefas estáticas e baseadas em regras, eles enfrentam dificuldades em interações sociais dinâmicas, particularmente em negociações multiagentes que exigem coordenação de objetivos de longo prazo e adaptação rápida. Os métodos de otimização atuais frequentemente aplicam recompensas baseadas em objetivos de forma uniforme para cada enunciado, o que negligencia a especificidade dos objetivos em cada turno de diálogo e falha em considerar a lógica por trás de potenciais estratégias. Essa abordagem corre o risco de treinar agentes para identificar "enunciados de atalho" que maximizam métricas de sucesso sem aprender genuinamente a inferência social e o planejamento estratégico semelhantes aos humanos. Além disso, os métodos hierárquicos existentes frequentemente focam na otimização do nível da estratégia, negligenciando a estabilidade e a coerência da execução no nível do enunciado.

Metodologia
Os autores propõem o framework Think-Strategy-Response (TSR), fundamentado na Teoria do Comportamento Planejado (TPB), para decompor o diálogo social em dois estágios hierárquicos:

1. Planejamento Estratégico de Alto Nível (Pensamento e Estratégia): O modelo primeiro gera uma fase de "Pensamento" (especulação, inferência, análise) e uma fase de "Estratégia" (intenção comportamental). Este estágio traduz a avaliação cognitiva em um plano acionável, garantindo que a resposta seja guiada por uma estratégia específica e de alto nível, em vez de um objetivo genérico.
2. Execução Linguística de Baixo Nível (Resposta): Com base na estratégia gerada, o modelo produz o enunciado real. Notavelmente, o conteúdo do "Pensamento" é excluído da entrada do segundo estágio para reduzir o overhead computacional e evitar que o raciocínio excessivo prejudique o desempenho.

Para otimizar este framework, o artigo introduz o Aprendizado por Reforço Hierárquico Linearizado com Recompensas com Portão de Variância (LHRL-VGR). Este algoritmo emprega um mecanismo de roteamento de recompensa inovador:

• Recompensa Composta para Estratégia: O gerador de estratégia é otimizado usando uma recompensa composta que compreende Recompensas de Resultado Previsto (estimando o progresso em direção ao objetivo) e Recompensas de Completude de Conteúdo (avaliando o alinhamento com a orientação comportamental e os objetivos do enunciado).
• Recompensa com Portão de Variância para Resposta: O gerador de resposta utiliza um roteador de recompensa dinâmico. Ele calcula a variância das pontuações de alcance de objetivo entre múltiplas amostras de resposta.
  • Se a variância exceder um limiar ($\theta$), indicando incerteza na conclusão do objetivo, o sistema prioriza a Recompensa de conclusão de objetivo ($r_{goal}$).
  • Se a variância for baixa (estável), o sistema prioriza a Recompensa de seguimento de estratégia ($r_{follow}$), garantindo a adesão à estratégia planejada.
• Otimização de Política Relativa de Grupo (GRPO) de Dois Estágios: O processo de treinamento otimiza conjuntamente ambos os estágios usando um algoritmo de Otimização de Política Relativa de Grupo. Ele calcula vantagens para o conteúdo da estratégia e para as recompensas de conclusão de objetivo transferidas, equilibrando-as via um hiperparâmetro $\alpha$.

Principais Contribuições

1. Framework TSR: Um paradigma hierárquico linearizado que separa explicitamente o planejamento estratégico da execução linguística, permitindo uma geração de diálogo mais racional e interpretável.
2. Algoritmo LHRL-VGR: Um algoritmo de treinamento inovador que apresenta um roteador de recompensa com portão de variância que atribui dinamicamente recompensas de conclusão de objetivo ou de adesão à estratégia ao gerador de resposta, enquanto treina conjuntamente ambos os níveis de política através de uma recompensa estratégica composta.
3. Desempenho de Estado da Arte: O método alcança resultados superiores no benchmark SOTOPIA, demonstrando que um agente Qwen2.5-7B ajustado com LHRL-VGR supera a linha de base GPT-4o.

Resultos Experimentais
Experimentos foram conduzidos nos benchmarks SOTOPIA e SOTOPIA-Hard, avaliando agentes em diálogos de múltiplos turnos contra um parceiro GPT-4o.

• Desempenho: O agente Qwen2.5-7B ajustado com LHRL-VGR alcançou uma melhoria relativa de 7,32% no sucesso de conclusão de objetivos sobre a linha de base GPT-4o no benchmark SOTOPIA.
• Estudos de Ablação: A remoção da recompensa de completude da estratégia ou da recompensa de conclusão de objetivo transferida levou a quedas significativas de desempenho, confirmando a necessidade de otimização conjunta.
• Paradigma de Treinamento: O treinamento conjunto coordenado de ambos os estágios superou o treinamento sequencial (Estágio 1 seguido do Estágio 2, ou vice-versa) e as abordagens de RL de estágio único, particularmente em métricas avaliadas por humanos para qualidade de estratégia e resposta.
• Roteamento de Recompensa: O mecanismo de roteamento com portão de variância superou significativamente outras estratégias de roteamento baseadas em modos de diálogo pré-definidos ou modos previstos pela estratégia.

Significância e Alegações
O artigo afirma que a abordagem proposta aborda dois desafios centrais no aprimoramento da inteligência social para LLMs:

1. Inferência Social Genuína: Ao gerar e otimizar explicitamente as estratégias, o método evita que os modelos aprendam enunciados de atalho, promovendo, em vez disso, capacidades humanas como raciocínio de intenção e planejamento estratégico.
2. Adaptação Dinâmica de Recompensa: O mecanismo de portão de variância supera a limitação de aplicar recompensas baseadas em objetivos de forma uniforme, permitendo que o modelo se adapte aos distintos objetivos de diferentes enunciados ao equilibrar a conclusão do objetivo com a adesão à estratégia.

Os autores concluem que seu método oferece um caminho promissor para agentes baseados em LLM mais humanos e inteligentes em tarefas complexas de negociação social, alcançando desempenho de estado da arte enquanto mantém a interpretabilidade através do framework estruturado TSR.