Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs
Este estudo avalia a capacidade de sete Modelos de Linguagem Grandes de inferir conhecimento individual de domínio a partir de registros de comunicação no Slack, comparando suas estimativas zero-shot com habilidades autorrelatadas, constatando que, embora o Gemini 2.5 Flash tenha alcançado a maior precisão, o desempenho da inferência depende apenas fracamente do volume de mensagens e destaca a necessidade de abordagens que preservem a privacidade e sejam conscientes da estrutura.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você entra em um escritório enorme e movimentado. Você tem um problema complicado, mas não sabe a quem perguntar. Será a pessoa no canto que fala sobre programação o dia todo? Ou aquela que parece saber tudo sobre gerenciamento de projetos? Geralmente, você teria que vagar pelo local, perguntar a algumas pessoas e torcer para encontrar o especialista certo. Esse "jogo de adivinhação" desperdiça tempo e dinheiro.
Este artigo faz uma pergunta simples: Pode uma IA atuar como um estagiário superobservador que lê o histórico de conversas de todos e diz instantaneamente quem sabe o quê?
Aqui está a explicação do experimento deles, de forma simples:
A Configuração: O "Detetive de Conversas"
Os pesquisadores pegaram uma pilha gigante de mensagens reais de chat da conta Slack de uma empresa (cerca de 27.000 mensagens de 43 pessoas ao longo de vários anos). Eles alimentaram essas mensagens em sete "super-cérebros" diferentes (Modelos de Linguagem Grandes como GPT, Claude e Gemini).
Pense nesses modelos de IA como diferentes tipos de detetives:
- Alguns são rápidos, mas talvez um pouco superficiais (como um scanner rápido).
- Alguns são lentos, mas pensadores profundos (como um professor analisando um livro).
- Alguns são generalistas, enquanto outros são especialistas.
A tarefa da IA era ler as conversas e criar um "relatório de habilidades" para cada pessoa. Por exemplo, se alguém continuasse falando sobre "Python" e "Ciência de Dados", a IA adivinharia: "Esta pessoa conhece Python".
A Verificação da Realidade: O "Autoavaliação"
Para ver se a IA era realmente boa em seu trabalho, os pesquisadores pediram que os humanos reais se avaliassem. Eles criaram um site simples onde cada pessoa olhava a lista de habilidades que a IA encontrou e dizia: "Sim, eu sei isso", ou "Não, eu não sei".
Em seguida, os pesquisadores compararam a adivinhação da IA com a resposta real do humano. É como um professor corrigindo a tentativa de um aluno de adivinhar as respostas de uma prova contra o gabarito real.
Os Resultados: Quem Venceu o Concurso?
Os pesquisadores testaram sete modelos de IA diferentes. Veja como eles se classificaram:
- O Vencedor: Gemini 2.5 Flash foi o melhor adivinhador. Ele errou cerca de 21 pontos em uma escala de 0 a 100. (Se o humano disse que era 80% especialista, a IA adivinhou algo em torno de 59% ou 101%).
- O Vice-Campeão: Gemini 2.5 Pro ficou logo atrás.
- O Meio da Tabela: Os modelos Claude (Haiku e Sonnet) foram aceitáveis, mas não tão afiados quanto os modelos Gemini.
- Os que Tiveram Dificuldades: Os modelos GPT (incluindo o muito famoso GPT-4o e GPT-5) tiveram o pior desempenho. Eles erraram cerca de 33 pontos em média.
A Grande Conclusão: Mesmo a melhor IA não foi perfeita. Ela conseguiu captar a ideia geral de quem sabe o quê, mas não conseguiu identificar o nível exato de expertise com alta precisão.
A Reviravolta Surpreendente: Mais Texto ≠ Melhores Adivinhações
Você pode pensar: "Se eu der um milhão de mensagens para a IA em vez de mil, ela ficará mais inteligente, certo?"
Não necessariamente. Os pesquisadores descobriram que simplesmente ter mais histórico de conversas não tornava automaticamente as adivinhações da IA mais precisas.
- Por quê? Porque muitas mensagens de chat são apenas "Ok", "Entendido" ou "Almoço às 1?". Essas não dizem o que alguém sabe.
- O Limite: Uma vez que a IA tinha uma quantidade mínima de conversas para trabalhar, adicionar mais não ajudava muito. É como tentar adivinhar o filme favorito de alguém lendo sua lista de compras; não importa o tamanho da lista, ela não dirá muito sobre o gosto dessa pessoa em cinema.
A Conclusão Final
O estudo prova que a IA pode espiar nossos registros de chat e fazer uma boa estimativa sobre nossas habilidades. É uma ferramenta útil para obter um mapa aproximado de "quem sabe o quê" em uma empresa.
No entanto, ainda não é uma bola de cristal mágica. A IA ainda comete erros, e os famosos modelos GPT nem sequer ficaram em primeiro lugar neste teste específico. Os pesquisadores também observaram que, para que isso funcione na vida real, as empresas precisariam ter muito cuidado com a privacidade, pois enviar conversas privadas da empresa para servidores externos de IA é uma questão sensível.
Em resumo: A IA está ficando melhor em ler a sala, mas ainda precisa aprender a distinguir entre a expertise real de uma pessoa e apenas seu bate-papo diário.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.