💬 NLP

OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

Este artigo apresenta o OATH-Frames, uma tipologia de nove categorias para analisar atitudes online em relação à situação de rua nos EUA, e demonstra que o aproveitamento de modelos de linguagem de grande escala para auxiliar especialistas do domínio pode escalar a anotação de 2,4 milhões de postagens do Twitter com uma aceleração de 6,5x e perda mínima de desempenho, gerando insights matizados sobre o sentimento público através de diferentes demografias e regiões.

Autores originais: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Publicado 2026-06-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar entender como milhões de pessoas se sentem sobre um tema complexo e emocional, como a situação de rua. Se você tentasse ler cada tweet sobre isso, seria soterrado por uma montanha de texto mais rápido do que pudesse piscar. É como tentar beber de uma mangueira de incêndio.

Este artigo, intitulado "OATH-Frames", trata da construção de um par de óculos melhor para enxergar o que realmente há dentro dessa mangueira. Os pesquisadores utilizaram uma mistura de especialistas em serviço social e IA poderosa (Modelos de Linguagem de Grande Escala - LLMs) para classificar 2,4 milhões de tweets sobre a situação de rua nos EUA.

Aqui está a história de como eles fizeram isso, dividida em partes simples:

1. O Problema: Os Óculos "Tamanho Único"

Antes deste estudo, se você quisesse analisar tweets sobre a situação de rua, poderia usar ferramentas padrão que apenas perguntam: "Este tweet é malvado?" (Toxicidade) ou "Este tweet é feliz ou triste?" (Sentimento).

Os pesquisadores argumentam que essas ferramentas são como tentar separar um saco de frutas misturadas usando apenas um adesivo "Vermelho" e um "Verde".

A Falha: Um tweet pode dizer: "Pessoas em situação de rua são preguiçosas e sujas". As ferramentas padrão podem deixar passar isso porque não estão usando "palavrões" (baixa toxicidade) e não são "felizes" (sentimento negativo). Mas isso é profundamente prejudicial.
A Realidade: As atitudes das pessoas são complexas. Você pode sentir simpatia por uma pessoa em situação de rua e estar irritado com o governo por não resolver o problema, tudo na mesma frase. Rótulos simples de "bom/mau" perdem essa nuance.

2. A Solução: O Menu "OATH-Frames"

A equipe criou um novo "menu" de nove categorias específicas (frames) para descrever exatamente como as pessoas estão falando sobre a situação de rua. Pense nisso como um menu degustação de um chef em vez de apenas "comida".

Eles agruparam essas nove categorias em três sabores principais:

Críticas (As Reclamações):
- Crítica ao Governo: Culpar políticos ou leis.
- Crítica Social: Culpar a sociedade ou pessoas "hipócritas".
- Ajuda Financeira: Discutir sobre para onde o dinheiro dos impostos deve ir.
Percepções (Os Estereótipos):
- Generalizações Prejudiciais: Chamar todos os sem-teto de ladrões, viciados ou preguiçosos.
- Merecedores vs. Não Merecedores: Argumentar que alguns grupos (como veteranos) merecem ajuda mais do que outros (como imigrantes).
- Não no Meu Quintal (NIMBY): "Eu não me importo com pessoas em situação de rua, só não no meu bairro".
Respostas (As Ações):
- Soluções: Sugerir correções, abrigos ou mudanças de políticas.
- Interação Pessoal: Compartilhar uma história sobre encontrar uma pessoa em situação de rua.
- Retrato da Mídia: Falar sobre como as notícias ou programas de TV retratam a situação de rua.

3. O Processo: A "Dança Humano-IA"

Classificar 2,4 milhões de tweets manualmente levaria anos para uma equipe humana. Classificá-los apenas com IA é arriscado porque a IA pode entender mal nuances sociais sutis (como sarcasmo ou referências políticas específicas).

Então, eles inventaram uma "Dança Humano-IA":

Os Especialistas: Especialistas em serviço social primeiro definiram as regras (o "menu") e rotularam um pequeno lote de tweets para ensinar a IA o que procurar.
O Assistente de IA (GPT-4): A IA tentou rotular milhares de tweets. Quando ficava confusa, ela explicava seu raciocínio (como um aluno mostrando o passo a passo).
A Verificação: Os especialistas humanos olharam o "trabalho" da IA e corrigiram os erros. Eles descobriram que, ao deixar a IA fazer o trabalho pesado e apenas checar os resultados, foram 6,5 vezes mais rápidos na rotulação, com apenas uma pequena queda na precisão.
A Etapa Final: Uma vez que a IA aprendeu as regras com os especialistas, eles treinaram um modelo de IA menor e mais rápido para rotular os ,24 milhões de tweets restantes por conta própria.

4. O Que Eles Descobriram: Os Padrões Ocultos

Assim que tiveram todos os 2,4 milhões de tweets classificados nessas nove categorias, puderam ver padrões que antes eram invisíveis.

O Ponto Cego da "Toxicidade": Eles descobriram que muitos tweets contendo estereótipos prejudiciais (como chamar pessoas em situação de rua de "sujas") tinham pontuações de "toxicidade" baixas. O "OATH-Frames" da IA detectou esses casos, enquanto as ferramentas antigas os perderam.
A Localização Importa:
- Na Califórnia, Washington e Oregon, as pessoas eram mais propensas a usar Generalizações Prejudiciais (estereótipos). Os pesquisadores acreditam que isso ocorre porque há populações de pessoas em situação de rua sem abrigo mais visíveis nessas regiões, levando a reações mais diretas (e às vezes negativas).
- Em Nova York, as pessoas eram mais propensas a discutir sobre grupos Merecedores vs. Não Merecedores. Isso parecia estar ligado às notícias sobre migrantes e solicitantes de asilo chegando à cidade, gerando debates sobre quem "merece" ajuda.
A Divisão "Ucrânia vs. Imigrante":
- Quando as pessoas comparavam americanos em situação de rua com ucrianos, os tweets eram majoritariamente sobre Crítica ao Governo e Ajuda Financeira (ex: "Por que estamos enviando bilhões para a Ucrânia quando temos pessoas em situação de rua aqui?").
- Quando comparavam americanos em situação de rua com imigrantes, os tweets eram muito mais hostis, repletos de Generalizações Prejudiciais e atitudes NIMBY (ex: "Eles estão tomando nossos empregos/moradias").
O Tempo Importa: Durante grandes eventos de notícias (como os debates sobre financiamento da guerra Rússia-Ucrânia), os tweets dispararam em categorias específicas. Quando o Congresso discutia ajuda para a Ucrânia, os argumentos de "Ajuda Financeira" e "Merecedores vs. Não Merecedores" explodiram nos tweets.

A Conclusão

Este artigo não apenas contou tweets; ele ensinou um computador a entender a nuance da raiva, simpatia e confusão humana em relação à situação de rua.

Ao combinar a expertise humana em serviço social com a velocidade da IA, eles criaram uma ferramenta capaz de detectar atitudes sutis e prejudiciais que os detectores padrão de "malvado vs. legal" não conseguem captar. Eles mostraram que a forma como falamos sobre a situação de rua muda dependendo de onde vivemos, com quem estamos nos comparando e o que está acontecendo nas notícias agora.

Nota: O artigo foca inteiramente na análise dessas atitudes online para ajudar pesquisadores e grupos de defesa a entenderem melhor a opinião pública. Ele não pretende resolver a situação de rua diretamente ou oferecer aconselhamento clínico, mas sim fornecer uma lente mais clara para enxergar o problema.

Declaração do Problema
As atitudes públicas em relação a questões sociais complexas, como a situação de rua nos EUA, são valiosas para políticas e reformas, mas são difíceis de compreender em escala. Métodos tradicionais das ciências sociais, incluindo estudos etnográficos e pesquisas qualitativas, são limitados em escopo e não conseguem processar o volume de discurso online gerado em plataformas como o Twitter. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial para escalar a pesquisa em ciências sociais, sua confiabilidade no processamento de atitudes latentes e sutis sobre temas sensíveis permanece uma questão em aberto. Classificadores de sentimento e toxicidade existentes frequentemente falham em capturar estereótipos prejudiciais sutis e o enquadramento específico da situação de rua, particularmente quando essa retórica é mascarada por humor, sarcasmo ou generalizações sutis.

Metodologia
Os autores propõem um framework colaborativo envolvendo especialistas em serviço social e LLMs para caracterizar atitudes online. A metodologia consiste em três componentes primários:

Descoberta de Frames (Enquadramentos): Utilizando a teoria fundamentada (grounded theory) e a teoria do enquadramento, quatro especialistas de domínio analisaram uma amostra de 3,1 milhões de posts do Twitter (filtrados de um total inicial de 5 milhões) para desenvolver uma tipologia inovadora chamada OATH-Frames (Online Attitudes Towards Homelessness - Atitudes Online em Relação à Situação de Rua). Esta tipologia categoriza as atitudes em três temas abrangentes — Críticas, Percepções e Respostas — que são subdivididos em nove frames específicos do tema:
- Críticas: Crítica ao Governo, Crítica Social, Alocação de Recursos de Ajuda Financeira.
- Percepções: Generalização Prejudicial, Merecedor vs. Não Merecedor, Não no Meu Quintal (NIMBY).
- Respostas: Soluções/Intervenções, Interação Pessoal, Representação Midiática.
Estratégias de Anotação: Os autores empregaram três abordagens distintas de anotação para avaliar a escalabilidade e a precisão:
- Apenas Especialistas: Especialistas de domínio anotaram 4.100 posts, alcançando um F1 macro de 0,55 e um $\kappa$ de Fleiss de 0,46.
- Especialista Assistido por LLM (Especialista+GPT-4): Este pipeline envolveu o GPT-4 gerando previsões iniciais com raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT), que foram então validadas e corrigidas por especialistas. Os especialistas usaram as Diretrizes OATH para refinar os prompts e filtrar falsos positivos. Esta abordagem resultou em uma aceleração de 6,5× no tempo de anotação em comparação aos especialistas trabalhando sozinhos, com uma redução de apenas 3 pontos no F1 macro (0,52 vs. 0,55).
- Predição de Modelo: Um modelo Flan-T5-Large foi ajustado (fine-tuned) nos conjuntos de dados combinados de especialista e especialista+LLM (aprox. 10,4k exemplos) para prever os frames em um conjunto de dados de larga escala de 2,4 milhões de posts. Este modelo alcançou um F1 macro de 0,50, performando de forma comparável ao cenário de especialista+LLM.
Análise: Os autores utilizaram as 2,4 milhões de anotações preditas para analisar atitudes entre estados, períodos de tempo e comparações com outras populações vulneráveis. Eles também compararam os OATH-Frames contra classificadores padrão de toxicidade e sentimento.

Resultos Principais

Eficiência de Anotação: O pipeline Especialista+GPT-4 reduziu significamente o tempo necessário para a anotação (de ~187 segundos para ~29 segundos por post) enquanto manteve alta precisão, demonstrando um compromisso viável para escalar tarefas socialmente sensíveis.
Limitações de Classificadores Existentes: O estudo descobriu que classificadores padrão de toxicidade e sentimento falham em identificar a retórica prejudicial contra pessoas em situação de rua (PEH). A maioria dos posts rotulados com o frame de Generalização Prejudicial possuía pontuações de toxicidade abaixo de 0,5, e as distribuições de sentimento para posts prejudiciais e não prejudiciais foram estatisticamente semelhantes.
Tendências Sociopolíticas:
- Variação Geográfica: A Generalização Prejudicial foi mais proeminente em posts sobre Califórnia, Washington e Oregon, correlacionando-se com populações mais altas de PEH sem abrigo. Em contraste, Merecedor vs. Não Merecedor e Ajuda Financeira foram mais proeminentes em Nova York, correlacionando-se com discussões sobre imigrantes e solicitantes de asilo.
- Correlação Temporal: As atitudes tiveram picos em dezembro de 2022, coincidindo com debates no Congresso dos EUA sobre ajuda para a Ucrânia. Este período viu um aumento nos frames de Crítica ao Governo e Merecedor vs. Não Merecedor, onde o financiamento para a Ucrânia foi contrastado com a crise doméstica da situação de rua.
- Comparações de População: Quando as PEH foram comparadas aos ucranianos, o discurso público focou em Crítica ao Governo e alocação de recursos. Por outro lado, as comparações entre PEH e imigrantes suscitaram atitudes de NIMBY e Generalizações Prejudiciais.

Significância e Alegações
O artigo afirma fornecer um framework generalizável para compreender atitudes públicas matizadas em escala sobre questões socialmente sensíveis. Ao introduzir os OATH-Frames, os autores demonstram que a modelagem de tipologias de enquadramento específicas oferece vantagens distintas sobre a análise de sentimento e toxicidade de granularidade grossa, particularmente na detecção de estereotipagem sutil e retórica prejudicial contra populações marginalizadas. O trabalho serve como um roteiro para integrar a expertise das ciências sociais com as capacidades de LLM para acelerar a análise da opinião pública, permitindo que grupos de defesa e formuladores de políticas obtenham insights mais profundos sobre questões sociais complexas como a situação de rua. Os autores declaram explicitamente que seus dados e código serão disponibilizados publicamente para apoiar futuras pesquisas neste domínio.

1. O Problema: Os Óculos "Tamanho Único"

2. A Solução: O Menu "OATH-Frames"

3. O Processo: A "Dança Humano-IA"

4. O Que Eles Descobriram: Os Padrões Ocultos

A Conclusão

Mais como este