Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

Este artigo apresenta o quebra-cabeça de informação parcial distribuída (DPIP) e um conjunto de dados multimodais correspondente para avaliar a construção de terreno comum sob assimetria epistêmica, demonstrando que os modelos de linguagem atuais têm dificuldades em rastrear tanto o progresso da tarefa quanto os estados de crença em comparação com abordagens baseadas em lógica epistêmica dinâmica.

O essencial

Imagine que você e três amigos estão tentando montar um castelo de LEGO, mas há um problema: ninguém sabe a forma final do castelo.

Cada um de vocês tem um pedaço de um "mapa" diferente:

• Você vê apenas a frente.
• Seu amigo A vê apenas o lado esquerdo.
• Seu amigo B vê apenas o lado direito.
• E o quarto amigo é o construtor, que não tem nenhum mapa. Ele só pode colocar os blocos onde vocês dizem.

Para o castelo ficar perfeito, vocês precisam conversar, apontar, gesticular e combinar todas essas visões parciais para criar uma "verdade compartilhada" (o que os cientistas chamam de Common Ground ou "Terreno Comum"). Se um de vocês errar a interpretação, o castelo desaba.

Este é o cerne do novo estudo apresentado no artigo "Distributed Partial Information Puzzles" (Quebra-Cabeças de Informação Parcial Distribuída).

Aqui está uma explicação simples do que os pesquisadores fizeram e descobriram:

1. O Grande Experimento: O "Jogo do LEGO Cego"

Os pesquisadores criaram um jogo onde quatro pessoas jogam juntas. Três são "diretores" (com mapas parciais) e um é o "construtor". O objetivo é montar uma estrutura de 3x3x3 blocos de LEGO.

O desafio é que eles não podem ver o que os outros estão vendo. Eles precisam usar:

• Fala: "Coloque o bloco azul aqui."
• Gestos: Apontar para o lugar.
• Ação: O construtor movendo os blocos.

Eles gravaram 10 grupos jogando isso, anotando cada palavra, cada movimento de mão e cada peça colocada. É como ter uma câmera que grava não só o que foi dito, mas o que foi pensado e feito em tempo real.

2. O Teste de Inteligência Artificial: "A IA consegue entender a conversa?"

Depois de ter esses dados, os pesquisadores fizeram uma pergunta difícil: "As IAs modernas (como o GPT-5 ou o Qwen) conseguem acompanhar essa conversa e entender o que o grupo está construindo?"

Eles testaram duas abordagens:

• Abordagem 1 (A IA "Adivinhadora"): Eles deram para a IA os textos, os gestos e as ações, e perguntaram: "O que o grupo está construindo agora?"
• Abordagem 2 (A IA "Lógica Pura"): Eles criaram um sistema baseado em regras de lógica (como um matemático muito rígido) que calcula o que deve ser verdade com base no que foi dito e feito.

3. O Resultado Surpreendente: A IA ainda está "cega"

Aqui está a parte divertida e preocupante:

• A IA de Lógica Pura (Regras Rígidas): Funcionou surpreendentemente bem. Como ela segue regras estritas de "se alguém disse X e fez Y, então Z é verdade", ela conseguiu prever a estrutura quase perfeitamente.
• As IAs Modernas (LLMs): Elas tiveram muita dificuldade. Mesmo sendo modelos superinteligentes que escrevem poemas e codificam softwares, elas falharam em entender a dinâmica desse jogo.
  • Elas se confundiam com a quantidade de informações.
  • Elas não conseguiam manter o "mapa mental" do que o grupo todo sabia em conjunto.
  • Em alguns casos, elas achavam que o grupo estava construindo algo totalmente diferente do que realmente estava acontecendo.

Uma analogia: Imagine que você está assistindo a um jogo de futebol onde os jogadores falam em três línguas diferentes e usam sinais de mão. Uma IA moderna tenta adivinhar quem vai marcar o gol apenas ouvindo os gritos. Ela pode entender a palavra "gol", mas não consegue entender a estratégia do time porque não consegue conectar os pontos entre o que foi dito, o que foi feito e o que cada jogador sabia.

4. O Caso do Grupo que Perdeu

Houve um grupo que não conseguiu montar o castelo. Eles ficaram confusos e o castelo ficou torto.

• A IA de Lógica Pura disse: "Eles não têm acordo, então não há estrutura."
• As IAs Modernas também disseram: "Eles não têm acordo."
• A lição: As IAs modernas conseguiram detectar que o grupo estava confuso, mas falharam em detectar quando o grupo estava construindo algo complexo com sucesso. Elas são ótimas em ver o caos, mas ruins em ver a ordem emergente.

Por que isso importa?

Este estudo mostra que, embora as IAs sejam ótimas em escrever textos, elas ainda são péssimas em "leitura de mente" colaborativa.

No mundo real, quando trabalhamos em equipe, não apenas trocamos informações; nós construímos uma compreensão compartilhada através de olhares, gestos e ações. Se quisermos que robôs ou IAs trabalhem conosco em hospitais, fábricas ou salas de aula, elas precisam aprender a fazer esse "puzzle" de informação parcial. Elas precisam aprender a não apenas ouvir, mas a entender o contexto compartilhado.

Resumo em uma frase:
Os pesquisadores criaram um jogo de LEGO complexo para testar IAs e descobriram que, embora as IAs sejam brilhantes em escrever, elas ainda têm muita dificuldade em "jogar em equipe" e entender o que o grupo todo está pensando quando cada pessoa sabe apenas uma parte da verdade.

Resumo técnico

Resumo Técnico: Quebra-Cabeças de Informação Parcial Distribuída (DPIP)

1. O Problema

A colaboração eficaz entre humanos depende fundamentalmente da construção de "common ground" (terreno comum) — um conjunto compartilhado de crenças e fatos mutuamente reconhecidos. No entanto, em cenários reais de colaboração, os participantes raramente começam com a mesma informação, perspectiva ou conhecimento de fundo. Isso cria uma assimetria epistêmica, onde cada agente possui informações privadas que devem ser integradas para alcançar um objetivo comum.

Os desafios aumentam em interações multimodais (envolvendo fala, gestos e ações físicas) e multipessoais (mais de dois participantes). Apesar dos avanços em IA, os sistemas atuais (especialmente os Grandes Modelos de Linguagem - LLMs) têm dificuldade em:

• Rastrear o estado de crença dinâmico de múltiplos agentes.
• Integrar informações de diferentes modalidades (fala, gesto, ação) para inferir o terreno comum.
• Resolver problemas onde a solução exige a síntese de informações parciais e distribuídas.

Existe uma escassez de dados que permitam estudar robustamente esses fenômenos em colaborações multipessoais, situadas e com assimetria epistêmica.

2. Metodologia

A. Tarefa: Distributed Partial Information Puzzle (DPIP)
Os autores introduzem o DPIP, uma tarefa de construção colaborativa realizada por grupos de quatro pessoas:

• 3 Diretores: Cada um recebe uma visão parcial e única (uma vista lateral 2D) de uma estrutura alvo construída com blocos de Lego. Eles não podem tocar nos blocos.
• 1 Construtor: Pode manipular os blocos físicos, mas não tem acesso às visões dos diretores.
• Objetivo: Os diretores devem instruir o construtor verbalmente e através de gestos para montar uma única estrutura contínua que seja consistente com as três visões parciais.
• Assimetria: O construtor deve formar um modelo mental da estrutura sem referência visual direta, dependendo inteiramente da comunicação multimodal dos diretores para reconciliar discrepâncias entre suas perspectivas privadas.

B. Dataset e Anotação

• Coleta: 10 grupos (40 participantes) realizaram a tarefa. As interações foram capturadas com 3 câmeras Kinect, áudio e tablets para os diretores.
• Anotação Multimodal: O dataset foi anotado em três modalidades principais:
  1. Fala: Transcrições e proposições relacionais (ex: "bloco azul ao lado do verde").
  2. Ação: Sequências de manipulação de blocos (colocar, remover, mover) registradas em uma ferramenta 3D.
  3. Gestos: Anotados usando Gesture Abstract Meaning Representation (GAMR), capturando deícticos (apontar), icônicos (descrever forma) e emblemáticos (acordo/negação).
• Alinhamento: As proposições de todas as modalidades foram alinhadas temporalmente e normalizadas para criar uma representação unificada dos eventos.

C. Avaliação e Modelagem
Os autores avaliaram a capacidade de inferir o terreno comum e a estrutura final através de duas abordagens:

1. LLMs (State-of-the-Art): Modelos como Qwen3-4B, Llama-3.2-3B e GPT-5 foram promptados para:
   • Prever o estado da estrutura a partir de ações ou anotações alinhadas.
   • Inferir o conjunto de crenças compartilhadas (Common Ground) do grupo.
2. Pipeline Axiomático (DEL): Um sistema baseado em Lógica Epistêmica Dinâmica (DEL) que atualiza as crenças de forma incremental usando três axiomas fundamentais:
   • Ver é Acreditar: O contexto perceptual atualiza a crença.
   • Agir é Acreditar: A ação corporal revela intenção.
   • Dizer é Acreditar: A linguagem comunica o estado epistêmico.

A métrica principal foi o Coeficiente de Similaridade de Dice (DSC), medindo a sobreposição entre a previsão do modelo e a "verdade fundamental" (a estrutura física real construída ou o terreno comum calculado axiomáticamente).

3. Principais Contribuições

1. Novo Paradigma de Tarefa (DPIP): Uma tarefa que força a colaboração sob condições de informação parcial e assimetria epistêmica, unindo multimodalidade, interação multipessoal e raciocínio espacial.
2. Dataset Rico e Anotado: Um corpus multimodal (fala, gesto, ação) com anotações de proposições e alinhamento temporal, focado na dinâmica de crenças e no terreno comum.
3. Pipeline de Inferência Axiomática: Uma abordagem baseada em lógica formal (DEL) para rastrear e atualizar o terreno comum dinamicamente, servindo como baseline interpretável.
4. Benchmark para IA: Uma avaliação sistemática mostrando que, mesmo com LLMs avançados, a inferência de terreno comum em ambientes colaborativos, multimodais e parcialmente observáveis permanece um desafio significativo.

4. Resultados

• Desempenho dos LLMs:
  • Os LLMs tiveram desempenho superior quando fornecidos apenas com ações (baseline), mas o desempenho global (em todo o diálogo) foi inferior ao desempenho por turno, indicando dificuldade em manter o contexto de longo prazo.
  • Ao adicionar modalidades (gestos e fala) para prever a estrutura (Aligned → Structure), o desempenho variou drasticamente entre modelos. O Qwen3-4B foi o melhor, enquanto o GPT-5 (apesar de sua reputação) teve desempenho surpreendentemente ruim em alguns grupos, sugerindo que o contexto adicional pode adicionar ruído se não for processado corretamente.
  • A previsão do terreno comum pelos LLMs (Aligned → CGC) mostrou baixa sobreposição (DSC baixo) com o cálculo axiomático. Em muitos casos, os LLMs inferiram estados de crença completamente diferentes dos calculados logicamente.
• Desempenho do Pipeline Axiomático (CGC):
  • A abordagem baseada em axiomas foi surpreendentemente eficaz na previsão da estrutura final, superando ou empatando com os LLMs mais fortes em certas métricas globais. Isso sugere que a lógica formal é robusta para rastrear a evolução do terreno comum quando as regras de atualização são claras.
• Caso de Falha (Grupo 7):
  • Em um grupo que falhou em completar a tarefa corretamente, os LLMs conseguiram inferir corretamente a ausência de terreno comum (conjuntos de crenças vazios ou pequenos), alinhando-se com o cálculo axiomático. Isso indica que os modelos podem detectar confusão e falta de alinhamento, mesmo quando a tarefa falha.

5. Significado e Conclusão

O artigo demonstra que a construção de terreno comum em colaborações complexas é um desafio não resolvido para a IA moderna.

• Limitações dos LLMs: Os modelos atuais lutam para integrar informações multimodais dispersas e manter um modelo de estado de crença coerente ao longo de interações longas e complexas. Eles tendem a falhar na inferência de "o que o grupo sabe" quando a informação é fragmentada.
• Valor da Abordagem Híbrida: A combinação de dados ricos com raciocínio lógico formal (DEL) oferece uma via promissora para sistemas que precisam operar em ambientes colaborativos reais, onde a precisão no rastreamento de crenças é crítica.
• Impacto Futuro: O DPIP e o dataset associado estabelecem um novo benchmark para pesquisas em diálogo multimodal, teoria da mente computacional e raciocínio espaço-temporal, destacando a necessidade de sistemas que não apenas processem linguagem, mas compreendam a dinâmica epistêmica entre agentes.

Em suma, o trabalho revela que, embora os LLMs sejam poderosos, eles ainda carecem da capacidade de "teoria da mente" robusta necessária para navegar em colaborações onde a verdade é distribuída e parcial.