Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales

1. Declaração do Problema

À medida que a Inteligência Artificial (IA) se torna cada vez mais integrada na vida diária e em ambientes de trabalho híbridos, há uma necessidade crítica de instrumentos confiáveis para avaliar a qualidade subjetiva da cooperação humano-IA. Embora escalas existentes meçam atitudes gerais em relação à IA ou alfabetização em IA, elas não conseguem capturar as dinâmicas específicas e orientadas a processos das interações cooperativas.

Os autores identificam uma lacuna na medição de duas dimensões distintas da integração humano-IA:

• Integração Sincrônica: O grau de interdependência dentro de uma única sequência de tarefas (por exemplo, uma interação específica).
• Integração Diacrônica: A continuidade e estabilidade da cooperação ao longo de interações repetidas ao longo do tempo (por exemplo, parcerias de longo prazo).

As ferramentas atuais não diferenciam adequadamente a percepção da capacidade cooperativa de um agente em um único momento versus o senso emergente de "trabalho em equipe" que se desenvolve ao longo do tempo. Além disso, há uma falta de instrumentos validados que permitam a comparação direta entre a cooperação humano-humano e humano-IA.

2. Metodologia

Enquadramento Teórico

O estudo introduz duas escalas fundamentadas teoricamente:

1. Escala de Percepção de Cooperatividade (PCS): Baseada na Teoria da Atividade Conjunta. Mede a capacidade percebida e a prática de um agente dentro de uma única sequência de interação. Opera oito características de agentes eficazes: observabilidade, monitorabilidade, comunicatividade, autoavaliação, confiabilidade, direcionabilidade, seletividade e coordenação.
2. Escala de Percepção de Trabalho em Equipe (TPS): Baseada na Teoria da Cooperação Evolutiva e em quadros de ação compartilhada. Mede o senso emergente de trabalho em equipe decorrente da contribuição e apoio mútuos. É conceituada como tendo três facetas:
   • Equipe: O senso emergente do grupo como um todo.
   • Eu: O investimento e apoio cooperativo do próprio humano.
   • Parceiro: A percepção do humano sobre o apoio e as contribuições da IA.

Construção da Escala

• Geração de Itens: Os conjuntos iniciais de itens foram derivados de constructos teóricos. Os itens foram redigidos em linguagem acessível (por exemplo, "Eu tive a sensação de que...") para garantir uma resposta intuitiva.
• Adaptação: Ambas as escalas foram desenvolvidas com versões paralelas para parceiros de IA (PCS-A, TPS-A) e parceiros humanos (PCS-H, TPS-H) para permitir comparações entre agentes.
• Tradução: Procedimentos rigorosos de tradução e retradução foram utilizados para garantir equivalência linguística entre as versões em alemão e inglês.

Desenho do Estudo e Amostras

As escalas foram validadas em três estudos independentes envolvendo um total de N = 409 participantes com demografias e contextos diversos:

• Estudo 1 (Jogo de Cartas Hanabi): Um jogo cooperativo de alta interdependência. Os participantes jogaram com um parceiro humano, um agente de IA baseado em regras (RB) e um agente de IA de aprendizado por reforço (RL). Isso testou a capacidade das escalas de diferenciar parceiros com diferentes níveis de transparência e previsibilidade cooperativa.
• Estudo 2 (Interação com LLM): Os participantes verificaram fatos em artigos usando quatro versões de um chatbot LLM com diferentes graus de autonomia e alinhamento de objetivos (Focado, Ampliado, Conflituoso, Falhou). Isso testou a sensibilidade a diferentes qualidades cooperativas em um contexto de menor interdependência.
• Estudo 3 (Planejador de Viagens Tesla): Uma interação do mundo real com um sistema de suporte à decisão (baixa agência). Isso serviu como um caso limite para testar a aplicabilidade da PCS em contextos onde o "parceiro" é uma ferramenta e não um agente.

Análise Psicométrica

Os autores empregaram procedimentos padrão de avaliação de escalas:

• Dimensionalidade: Análise Fatorial Exploratória (AFE) e Análise Fatorial Confirmatória (AFC) para determinar a estrutura fatorial.
• Confiabilidade: Alfa de Cronbach ($\alpha$) e Omega de McDonald ($\omega$).
• Validade: Validade discriminante (correlações com SIPA, confiança, calor, competência, aceitação) e validade de critério (capacidade de diferenciar entre tipos de parceiros).

3. Principais Contribuições

1. Desenvolvimento de Duas Escalas Novas: A criação da PCS (14 itens após refinamento) e da TPS (9 itens, 3 subescalas) especificamente projetadas para o trabalho em equipe humano-IA.
2. Fundamentação Teórica: As escalas estão explicitamente ligadas à Teoria da Atividade Conjunta (sincrônica) e à Teoria da Cooperação Evolutiva (diacrônica), fornecendo uma base teórica robusta para pesquisas futuras.
3. Comparabilidade entre Agentes: A inclusão de versões para parceiros humanos permite que os pesquisadores avaliem o desempenho da IA diretamente contra o desempenho humano usando métricas idênticas.
4. Validação Empírica: Validação abrangente em três contextos distintos (jogos, chat com LLM, navegação no mundo real) e populações diversas (estudantes, trabalhadores do Prolific, motoristas de veículos elétricos).

4. Resultados

Dimensionalidade e Análise de Itens

• PCS: A AFC e a AFE apoiaram uma estrutura unidimensional. O item PCS14 ("Eu tive a sensação de que a pessoa/agente foi capaz de perceber que tínhamos abordagens diferentes...") mostrou discriminação pobre e classificações de confiança baixas em todos os contextos e foi excluído, resultando em uma escala final de 14 itens.
• TPS: Embora os resultados da AFE fossem mistos, os autores mantiveram uma estrutura teórica de três fatores (Equipe, Eu, Parceiro).
  • As subescalas Equipe e Parceiro mostraram consistência interna forte e boa discriminação de itens.
  • A subescala Eu mostrou confiabilidade pobre a questionável (especialmente no contexto do jogo) e baixa discriminação de itens. A análise sugere que esta subescala pode capturar uma autoavaliação estável e com viés positivo, em vez de dinâmicas específicas da interação, particularmente quando estruturas de tarefas limitam a variância comportamental.

Confiabilidade

• PCS: Demonstrou excelente consistência interna ($\alpha \approx .93$) em todas as amostras e contextos.
• TPS: A escala composta e as subescalas Equipe/Parceiro mostraram confiabilidade boa a excelente ($\alpha \approx .88 - .96$). A confiabilidade da subescala Eu melhorou em contextos fora do jogo (estudo LLM), onde os participantes tinham mais agência.

Validade

• Validade de Construto: Ambas as escalas mostraram correlações positivas esperadas com competência percebida, confiabilidade do sistema e consciência subjetiva de processamento de informações (SIPA).
• Diferenciação (Validade de Critério): Ambas as escalas diferenciaram com sucesso parceiros de cooperação de qualidade variável:
  • Ordenação: Parceiro Humano > IA Baseada em Regras > IA de Aprendizado por Reforço (Estudo 1); LLM Alinhado > LLM Desalinhado/Falhou (Estudo 2).
  • Tamanhos de Efeito: Grandes tamanhos de efeito foram encontrados para as diferenças entre tipos de parceiros, confirmando a sensibilidade das escalas à qualidade cooperativa.
• Caso Limite: No Estudo 3 (Planejador de Viagens Tesla), a PCS permaneceu significativa mesmo com um sistema de baixa agência, embora a TPS não tenha sido administrada, pois as condições para "trabalho em equipe" não foram atendidas.

5. Significado e Implicações

• Ferramenta Diagnóstica para Design de IA: Os itens da PCS mapeiam diretamente capacidades cooperativas específicas (por exemplo, observabilidade, confiabilidade). Pontuações baixas em itens específicos podem fornecer feedback acionável aos designers sobre quais comportamentos de agente precisam de melhoria.
• Diferenciação entre "Ferramenta" e "Colega de Equipe": As escalas ajudam a distinguir entre interações onde a IA é meramente uma ferramenta (bem medida pela PCS) versus interações onde surge um senso genuíno de trabalho em equipe (medido pela TPS).
• Orientação para Pesquisadores: O artigo fornece recomendações específicas para o uso da escala, incluindo:
  • Avaliar o grau de integração sincrônica/diacrônica antes de escolher uma escala.
  • Administrar as escalas imediatamente após episódios de interação, em vez de retrospectivamente.
  • Interpretar a subescala "Eu" da TPS com cautela devido ao possível viés de positividade.
• Fundação para Pesquisa Futura: As escalas permitem investigação empírica rigorosa sobre dinâmicas de equipes híbridas, calibração de confiança e a evolução de longo prazo das parcerias humano-IA.

Conclusão: O estudo valida com sucesso a Escala de Percepção de Cooperatividade e a Escala de Percepção de Trabalho em Equipe como instrumentos robustos e fundamentados teoricamente. Elas preenchem uma lacuna crítica na pesquisa de interação humano-IA, fornecendo métricas confiáveis para avaliar a qualidade subjetiva da cooperação, aplicáveis em diversos contextos e capazes de distinguir entre diferentes níveis de desempenho cooperativo da IA.